首页 文章

Pyspark映射从字符串的RDD到双精度列表的RDD

提问于
浏览
1

我相信在spark / python编程的上下文中,这是一个相当基本的操作 . 我有一个看起来像这样的文本文件:

mydata.txt
12  34  2.3  15
23  11  1.5  9
33  18  4.5  99

然后我使用以下代码读取文本文件:

data = sc.textFile("mydata.txt")

这会将文件作为字符串的RDD读入 . 但是,我想分离值并将它们全部转换为浮点数 . 所以我将上面的行更改为:

data = sc.textFile("matrix1.txt").map(lambda line: line.split(' '))

它成功地按空格分割数据 . 然而,我正在努力想出 Map 函数,然后转换为浮点数 . 类似的东西:

.map(lambda line: float(line))

但这没用 . 任何帮助赞赏!谢谢!

编辑 - 请假设我不知道数据的列数 . 所以.map(lambda line:float(line [0]),float(line [1]),float(line [2]),float(line [3]))的内容并不是特别有用 .

1 回答

  • 0

    没关系,明白了 .

    .map(lambda line: [float(x) for x in line])
    

相关问题