我是新来的apache点燃以及火花......任何人都可以通过示例帮助将点燃rdd转换为scala中的spark rdd .
更新----用例：我将收到一个hbase表的数据帧 . 我将执行一些逻辑来构建报告，将它保存到ignite rdd ...并且将为每个表更新相同的点火rdd . ..一旦所有表被执行，最终点燃rdd将转换为spark或java rdd，最后一条规则将在该rdd上执行...运行该规则我需要将rdd转换为数据帧 . 并且该数据框将作为最终报告保存在配置单元中...
转换是什么意思？ IgniteRDD is a Spark RDD，从技术上讲它是RDD特征的一个子类型 .
Spark内部有许多类型的RDD：MappedRDD，HadoopRDD，LogicalRDD . IgniteRDD只是可能的RDD类型之一，并且在一些转换之后它也将被其他RDD类型包裹，即MappedRDD .
你也可以编写自己的RDD :)
documentation中的示例：
val cache = igniteContext.fromCache("partitioned") val result = cache.filter(_._2.contains("Ignite")).collect()
过滤缓存RDD后，类型将不同 - IgniteRDD将被包装到FilteredRDD . 然而，它仍然是RDD特性的实现 .
评论后更新：
首先，您是否导入了implicits？ import spark.implicits._
import spark.implicits._
在SparkSession中，您有各种createDataFrame方法可将RDD转换为DataFrame / Dataset
如果它仍然没有帮助您，请提供您在创建DataFrame和代码示例时获得的错误
1 回答
转换是什么意思？ IgniteRDD is a Spark RDD，从技术上讲它是RDD特征的一个子类型 .
Spark内部有许多类型的RDD：MappedRDD，HadoopRDD，LogicalRDD . IgniteRDD只是可能的RDD类型之一，并且在一些转换之后它也将被其他RDD类型包裹，即MappedRDD .
你也可以编写自己的RDD :)
documentation中的示例：
过滤缓存RDD后，类型将不同 - IgniteRDD将被包装到FilteredRDD . 然而，它仍然是RDD特性的实现 .
评论后更新：
首先，您是否导入了implicits？
import spark.implicits._在SparkSession中，您有各种createDataFrame方法可将RDD转换为DataFrame / Dataset
如果它仍然没有帮助您，请提供您在创建DataFrame和代码示例时获得的错误