你怎么得到一个基本的Hello,世界!使用Cassandra在Spark中运行的示例?到目前为止,我们发现了这个有用的答案:
How to load Spark Cassandra Connector in the shell?
哪个效果很好!
然后我们尝试按照文档和入门示例进行操作:
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md
它说这样做:
import com.datastax.spark.connector.cql.CassandraConnector
CassandraConnector(conf).withSessionDo { session =>
session.execute("CREATE KEYSPACE test2 WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 1 }")
session.execute("CREATE TABLE test2.words (word text PRIMARY KEY, count int)")
}
但它说我们没有 com.datastax.spark.connector.cql
?顺便说一句,我们从这里得到了Spark连接器:
Maven Central Repository (spark-cassandra-connector-java_2.11)
那么,在本地运行Spark和Cassandra之后,如何创建键空间,表格和插入行?
1 回答
您下载的jar只有Java api,因此它不能与Scala Spark Shell一起使用 . 我建议您按照Spark Cassandra Connector页面上的说明进行操作 .
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/13_spark_shell.md
这些说明将让您构建包含所有依赖项的完整程序集jar,并使用--jars将其添加到Spark Shell类路径中 .