我有一个> 4k列的pyspark df，没有任何标签/ Headers . 根据列值，我需要对每列应用特定的操作 .
我使用pandas做了同样的事情但是我不想使用pandas并且想直接在spark数据帧上应用列式转换 . 任何想法，如果df有> 4k列没有任何label，我怎么能应用列式转换 . 所以我不想在特定的df列索引上应用转换 .
根据Spark文档，数据框包含 - 与您所说的不同 - Headers ，非常类似于数据库表 .
无论如何，一个简单的 for 循环应该可以解决这个问题：
for
for column in spark_dataframe.columns: (do whatever you want to do with your columns)
1 回答
根据Spark文档，数据框包含 - 与您所说的不同 - Headers ，非常类似于数据库表 .
无论如何，一个简单的
for循环应该可以解决这个问题：