首页 文章

如何在datastax中实现rdd.bulkSaveToCassandra

提问于
浏览 次
0
  • 我正在使用5.0.5的数据集群 . [cqlsh 5.0.1 | Cassandra 3.0.11.1485 | DSE 5.0.5 | CQL规范3.4.0 |原生原型

使用spark-cassandra-connector 1.6.8

我试着实现下面的代码..导入不起作用 .

val rdd：RDD [SomeType] = ... //创建一些RDD来保存导入com.datastax.bdp.spark.writer.BulkTableWriter._

rdd.bulkSaveToCassandra（密钥空间，表）

有人可以建议我如何实现此代码 . 它们是否需要依赖性 .

apache-spark cassandra datastax

1 回答

  • 1

    Cassandra Spark Connector有 saveToCassandra 方法可以像这样使用（取自documentation）：

    val collection = sc.parallelize(Seq(("cat", 30), ("fox", 40)))
collection.saveToCassandra("test", "words", SomeColumns("word", "count"))

    还有 saveAsCassandraTableEx 允许您控制模式创建和其他事情 - 它也在上面引用的文档中描述 .

    要使用它们，您需要在“Connecting to Cassandra”文档中描述 import com.datastax.spark.connector._ .

    并且您需要添加相应的依赖项 - 但这取决于您使用的构建系统 .

    bulkSaveToCassandra 方法仅在're using DSE' s连接器时可用 . 您需要添加相应的依赖项 - 有关更多详细信息，请参阅documentation . 但即使是primary developer of Spark connector says，最好还是使用 saveToCassandra 而不是它 .

    回复于

相关问题