在Scala中,我可以使用以下方法展平集合:
val array = Array(List("1,2,3").iterator,List("1,4,5").iterator)
//> array : Array[Iterator[String]] = Array(non-empty iterator, non-empty itera
//| tor)
array.toList.flatten //> res0: List[String] = List(1,2,3, 1,4,5)
但是我如何在Spark中执行类似的操作?
阅读API doc http://spark.apache.org/docs/0.7.3/api/core/index.html#spark.RDD似乎没有提供此功能的方法?
2 回答
尝试使用身份 Map 功能的flatMap(
y => y
):使用
flatMap
和identity
Predef
,这比使用x => x
更具可读性,例如