首页 文章

Cassandra连接器Apache Spark:本地类不兼容

提问于
浏览
3

我试图使用Cassandra Spark连接器加入带有Cassandra Table的rdd:

samplerdd.joinWithCassandraTable(keyspace, CassandraParams.table)
      .on(SomeColumns(t.date as a.date,
        t.key as a.key)

它在独立模式下工作,但是当我在集群模式下执行时,我收到此错误:

Job aborted due to stage failure: Task 6 in stage 0.0 failed 4 times, most recent failure: Lost task 6.3 in stage 0.0 (TID 20, 10.10.10.51): java.io.InvalidClassException: com.datastax.spark.connector.rdd.CassandraJoinRDD; local class incompatible: stream classdesc serialVersionUID = 6155891939893411978, local class serialVersionUID = 1245204129865863681

我已经检查了主机和从机中的 jar ,它似乎是同样的版本 .

我使用spark 2.0.0,Cassandra 3.7,Cassandra-Spark Connector 2.0.0 M2,Cassandra Driver Core 3.1.0和Scala 2.11.8

它会发生什么?

1 回答

  • 0

    终于解决了 . 将cassandra-driver-core依赖更新到3.0.0并且可以正常工作 . - Manuel Valero刚刚编辑

相关问题