如何转换具有多列的数据帧我可以获得RDD [org.apache.spark.sql.Row],但我需要一些我可以用于org.apache.spark.mllib.fpm.FPGrowth,ei RDD [Array] [String]]如何转换?
df.head
org.apache.spark.sql.Row = [blabla,128323,23843,11.23,blabla,null,null,..]
df.printSchema
|-- source: string (nullable = true)
|-- b1: string (nullable = true)
|-- b2: string (nullable = true)
|-- b3: long (nullable = true)
|-- amount: decimal(30,2) (nullable = true)
and so on
谢谢
1 回答
问题很模糊,但一般来说,您可以通过Sequence将RDD从Row更改为Array . 以下代码将获取RDD中的所有列,将它们转换为字符串,并将它们作为数组返回 .
然而,这可能不足以让它以你想要的方式使用MLib,因为你没有提供足够的细节,但这是一个开始 .