首页 文章

让Tableau与Spark和Cassandra交谈

提问于
浏览
3

DataStax spark cassandra连接器非常适合通过Apache Spark与Cassandra交互 . 使用Spark SQL 1.1,我们可以使用thrift服务器与Spark与Tableau进行交互 . 由于Tableau可以与Spark交谈,而Spark可以与Cassandra交谈,因此肯定有一些方法可以让Tableau通过Spark(或者更确切地说是Spark SQL)与Cassandra交谈 . 我无法弄清楚如何让这个运行 . 理想情况下,我想在Spark Standalone集群中使用cassandra集群(即没有设置额外的hadoop) . 这可能吗?任何指针都表示赞赏 .

1 回答

  • 3

    HiveThriftServer有一个 HiveThriftServer2.startWithContext(sqlContext) 选项,因此您可以创建引用C *和相应表/ CF的sqlContext,然后将该上下文传递给thrift服务器 .

    所以像这样:

    import  org.apache.spark.sql.hive.HiveContext
    import  org.apache.spark.sql.catalyst.types._
    import  java.sql.Date
    val  sparkContext  =  sc
    import  sparkContext._
    val  sqlContext  =  new  HiveContext(sparkContext)
    import  sqlContext._
    makeRDD((1,"hello") :: (2,"world") ::Nil).toSchemaRDD.cache().registerTempTable("t")
    import  org.apache.spark.sql.hive.thriftserver._
    HiveThriftServer2.startWithContext(sqlContext)
    

    因此,不是从Spark启动默认的thriftserver,而是只能在cusotm中午餐 .

相关问题