首页 文章

Ignite如何在Integration视图中使用Spark

提问于
浏览
0

有一个 IngiteRDD 可以反映对底层缓存的更改,这在某些情况下非常好,以克服Spark'RDD不可变性的缺点 .

有一个 IgniteRDD.sql 方法运行 ANSI sql (not spark sql) ,此方法返回一个DataSrame,它是spark sql的概念 . 当我得到这个DataFrame对象时,我可以将它用作普通的DataFrame,我不需要认为它来自Ignite世界吗?也就是说,我可以注册临时表,然后与其他DataFrame进行分布式连接 . 当分布式连接的sql执行时,Ignite是否使用Spark SQL Engine或Ignite Engine来运行sql?

1 回答

  • 0

    您可以在执行查询后使用 Dataframe API,但在这种情况下,它不会被分发 . 即它将与已经提取给驱动程序的本地结果集一起使用 .

    Ignite的全部 Dataframe 支持将于明年推出 .

相关问题