我在独立模式下运行Spark，现在我想使用数据来处理但是我必须在同一路径中的所有节点中复制 . 现在我决定使用cassandra文件系统（CFS）在所有节点之间共享数据 . 但是如何运行我的spark作业以在另一个节点中使用cassandra键空间/表数据？如何让所有节点都可以访问Cassandra表？
您应该以逗号分隔的初始联系点列表 . 连接器将读取集群的元数据以查找cassandra集群中的所有节点 .
val conf = new SparkConf(true) .set("spark.cassandra.connection.host", "192.168.123.10,192.168.123.110")
参考参数详情 - spark cassandra connector doc
1 回答
您应该以逗号分隔的初始联系点列表 . 连接器将读取集群的元数据以查找cassandra集群中的所有节点 .
参考参数详情 - spark cassandra connector doc