5 回答

• 32

  这应该返回包含单个列表的集合：

  dataFrame.select("YOUR_COLUMN_NAME").rdd.map(r => r(0)).collect()
  

  如果没有映射，您只需获得一个Row对象，该对象包含数据库中的每一列 .

  请记住，这可能会为您提供任何类型的列表 . Ï如果要指定结果类型，可以在 r => r(0).asInstanceOf[YOUR_TYPE] 中使用.asInstanceOf [YOUR_TYPE]

  附：由于自动转换，您可以跳过 .rdd 部分 .

  回复于 2024-04-29T09:20:32+08:00
• 4

  使用Spark 2.x和Scala 2.11

  我想到了将特定列的值转换为List的3种可能方法

  所有方法的公共代码片段

  import org.apache.spark.sql.SparkSession
  
  val spark = SparkSession.builder.getOrCreate    
  import spark.implicits._ // for .toDf() method
  
  val df = Seq(
      ("first", 2.0),
      ("test", 1.5),
      ("choose", 8.0)
    ).toDF("id", "val")
  

  方法1

  df.select("id").collect().map(_(0)).toList
  // res9: List[Any] = List(one, two, three)
  

  现在发生了什么？我们正在使用 collect() 向Driver收集数据，并从每条记录中选取元素0 .

  这不是一个很好的方法，让我们用下一个方法来改进它 .

  ---

  方法2

  df.select("id").rdd.map(r => r(0)).collect.toList 
  //res10: List[Any] = List(one, two, three)
  

  它怎么样更好？我们在 Worker 之间分配了 Map 转换负载而不是单个驱动程序 .

  我知道 rdd.map(r => r(0)) 看起来并不优雅 . 那么，让我们在下一个方法中解决它 .

  ---

  方法3

  df.select("id").map(r => r.getString(0)).collect.toList 
  //res11: List[String] = List(one, two, three)
  

  这里我们不会将DataFrame转换为RDD . 由于DataFrame中的编码器问题，请查看 map 它将不接受 r => r(0) （或 _(0) ）作为上一种方法 . 所以最终使用 r => r.getString(0) ，它将在下一版本的Spark中解决 .

  结论所有选项都提供相同的输出，但2和3是有效的，最后第3个是有效和优雅的（我想） .

  Databricks notebook link which will available till 6 months from 2017/05/20

  回复于 2024-04-29T09:20:32+08:00
• 78

  我知道给出的答案是Scala的假设，所以我只是提供一些Python代码片段以防PySpark用户好奇 . 语法类似于给定的答案，但为了正确弹出列表，我实际上必须在映射函数中第二次引用列名，而我不需要select语句 .

  即一个DataFrame，包含一个名为“Raw”的列

  要将“Raw”中的每个行值合并为一个列表，其中每个条目都是“Raw”的行值，我只需使用：

  MyDataFrame.rdd.map(lambda x: x.Raw).collect()
  

  回复于 2024-04-29T09:20:32+08:00
• 12

  在Scala和Spark 2中，尝试这个（假设您的列名是"s"）： df.select('s).as[String].collect

  回复于 2024-04-29T09:20:32+08:00
• 0

  sqlContext.sql(" select filename from tempTable").rdd.map(r => r(0)).collect.toList.foreach(out_streamfn.println) //remove brackets
  

  它工作得很好

  回复于 2024-04-29T09:20:32+08:00