Scala非常に簡単にDataFrameをDatasetに変換できます。
case class Person(name:String, age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema
しかし、Javaバージョンでは、DataframeをDatasetに変換する方法がわかりませんか?
私の努力は:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();
しかし、コンパイラは言う:
Error:(23, 27) Java: org.Apache.spark.sql.Encoder is abstract; cannot be instantiated
@ Leet-Falconの回答に基づくソリューション:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx, df.logicalPlan(), encoder);
公式Spark docs Dataset API 以下で提案:
Javaエンコーダーは、エンコーダーの静的メソッドを呼び出すことで指定されます。
List<String> data = Arrays.asList("abc", "abc", "xyz");
Dataset<String> ds = context.createDataset(data, Encoders.STRING());
エンコーダーはタプルに構成できます:
Encoder<Tuple2<Integer, String>> encoder2 = Encoders.Tuple(Encoders.INT(), Encoders.STRING());
List<Tuple2<Integer, String>> data2 = Arrays.asList(new scala.Tuple2(1, "a");
Dataset<Tuple2<Integer, String>> ds2 = context.createDataset(data2, encoder2);
またはJava Beans Encoders#bean :
Encoders.bean(MyClass.class);
ジェネリックDFをJavaのデータセットに変換する場合、以下のようなRowEncoderクラスを使用できます。
DataFrame df = sql.read().json(sc.parallelize(ImmutableList.of(
"{\"id\": 0, \"phoneNumber\": 109, \"Zip\": \"94102\"}"
)));
Dataset<Row> dataset = df.as(RowEncoder$.MODULE$.apply(df.schema()));