我有一個JavaPairRDD<Dimension, Metrics>，這里Dimension&Metrics對象有一堆成員。有沒有辦法將其轉換為Dataset<Row>兩個對象的所有列/成員。或者還有一種方法可以將其轉儲JavaPairRDD到一個文件中，其中兩個對象的列/成員由制表符或逗號分隔。
1 回答
德瑪西亞99
TA貢獻1770條經驗 獲得超3個贊
您可以使用map()轉換將 JavaPairRDD 轉換為 JavaRDD，將維度和指標中的所有成員表示為逗號分隔的字符串。
在此之后，您可以將其保存為文本文件。
這樣做的邏輯步驟：
覆蓋 Dimension 和 Metrics 類中的 toString() 。您可以在其中將逗號分隔的值列表作為字符串返回。
在您的火花應用程序中 -
Function<Tuple2<Dimension, Metrics>, String> f = tuple -> (tuple._1.toString() +"," + tuple._2.toString());
JavaRDD csvRdd = pairRDD.map(f);
csvRdd.saveAsTextFile("your file path")
添加回答
舉報
0/150
提交
取消