首页 文章

为什么spark-submit在“-jars中使用Cassandra连接器无法加载数据源类：org.apache.spark.sql.cassandra”失败？

提问于
浏览 次
0

Spark版本：1.4.1

Cassandra 版本：2.1.8

Datastax Cassandra Connector：1.4.2-SNAPSHOT.jar

命令我跑了

./spark-submit --jars /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connector-java-assembly-1.4.2- SNAPSHOT.jar --driver-class-path /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connector-java-assembly-1.4.2 -SNAPSHOT.jar --jars /usr/local/lib/spark-1.4.1/external/kafka/target/scala-2.10/spark-streaming-kafka_2.10-1.4.1.jar --jars / usr / local /lib/spark-1.4.1/external/kafka-assembly/target/scala-2.10/spark-streaming-kafka-assembly_2.10-1.4.1.jar --driver-class-path / usr / local / lib / spark-1.4.1 / external / kafka / target / scala-2.10 / spark-streaming-kafka_2.10-1.4.1.jar --driver-class-path /usr/local/lib/spark-1.4.1/external /kafka-assembly/target/scala-2.10/spark-streaming-kafka-assembly_2.10-1.4.1.jar --packages org.apache.spark：spark-streaming-kafka_2.10：1.4.1 --executor-内存6g --executor-cores 6 --master local [4] kafka_streaming.py

以下是我得到的错误：

Py4JJavaError: An error occurred while calling o169.save.
: java.lang.RuntimeException: Failed to load class for data source: org.apache.spark.sql.cassandra

一定是做些傻事 . 任何回复将不胜感激 .

apache-spark apache-kafka cassandra-2.0 spark-cassandra-connector

1 回答

  • 3

    尝试以相同的-jars选项（逗号分隔）提供所有jar：

    --jars yourFirstJar.jar,yourSecondJar.jar

    用于开发目的的更方便的解决方案是使用来自maven central（逗号分隔）的jar：

    --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1,com.datastax.spark:spark-cassandra-connector_2.10:1.4.1
    回复于

相关问题