我们如何在Apache Spark中使用多个Cassandra设置？-Java 学习之路

我在两台不同的机器上有两种不同的Cassandra设置 . 我试图从一台机器读取数据，使用Spark处理它，然后将结果写入第二个设置 . 我正在使用spark-cassandra-connector-java_2.10 . 当我尝试使用javaFunctions.writeBuilder时，它允许我指定键空间和表名，但Cassandra主机是从Spark上下文中获取的 . 有没有办法将数据写入Cassandra设置，而不是Spark Context中提到的设置？我们如何覆盖此默认设置？

1 回答

使用以下代码：

SparkConf confForCassandra = new SparkConf().setAppName("ConnectToCassandra")
                .setMaster("local[*]")
                .set("spark.cassandra.connection.host", "<cassandraHost>");

CassandraConnector connector = CassandraConnector.apply(confForCassandra);

javaFunctions(rdd).writerBuilder("keyspace", "table", mapToRow(Table.class)).withConnector(connector).saveToCassandra();

回复于 2024-05-15T11:31:56+08:00

我们如何在Apache Spark中使用多个Cassandra设置？

1 回答

相关问题