我尝试启动一个只从cassandra数据库中读取表的app .
使用spark-submmit启动应用程序：
/ opt / spark / bin / spark-submit --class com.baitic.mcava.pruebacassandra.PruebaCassandraBBDD --master spark：//192.168.1.105：7077 --executor-memory 1G / home / miren / NetBeansProjects / PruebaCassandra / target / original-PruebaCassandra-1.0-SNAPSHOT.jar --deploy-mode cluster
在我启动它之前输出，只显示输出的断点，其余的工作正常：
16/02/25 11:18:34 INFO SparkDeploySchedulerBackend：SchedulerBackend准备好在达到minRegisteredResourcesRatio之后开始调度：0.0线程“main”中的异常java.lang.NoClassDefFoundError：com / datastax / spark / connector / japi / CassandraJavaUtil at com .baitic.mcava.pruebacassandra.PruebaCassandraBBDD.main（PruebaCassandraBBDD.java:71）at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method）at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）at sun.reflect.DelegatingMethodAccessorImpl .invoke（DelegatingMethodAccessorImpl.java:43）atg.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $ SparkSubmit $$ runMain （SparkSubmit.scala：731）org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1（SparkSubmit.scala：181）org.apache.spark.deploy.SparkSubmit $ .submit（SparkSubmit.scala：206）at org位于org.apache.spark.deploy.SparkSubmit.ma的.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：121） in（SparkSubmit.scala）由java.lang.ClassLoader.loadClass引用的java.lang.ClassNotFoundException：com.datastax.spark.connector.japi.CassandraJavaUtil at java.net.URLClassLoader.findClass（URLClassLoader.java:381） ClassLoader.java:424）java.lang.ClassLoader.loadClass（ClassLoader.java:357）... 10更多
我创建了一个maven java应用程序，然后我将pom.xml与必要的依赖项放在一起：
org.apache.spark spark-core_2.10 1.6.0
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector_2.10</artifactId>
<version>1.6.0-M1</version>
</dependency>
<dependency>
<groupId>com.datastax.cassandra</groupId>
<artifactId>cassandra-driver-core</artifactId>
<version>3.0.0</version>
</dependency>
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector-java_2.10</artifactId>
<version>1.5.0</version>
</dependency>
</dependencies>
进口：
-
import org.apache.spark.api.java.JavaSparkContext;
-
import org.apache.commons.lang.StringUtils;
-
import com.datastax.spark.connector.japi.CassandraRow;
-
import org.apache.spark.SparkConf;
-
import org.apache.spark.api.java.JavaRDD;
-
importorg.apache.spark.api.java.function.Function;
-
import static com.datastax.spark.connector.japi.CassandraJavaUtil.javaFunctions;
....
代码主要：
JavaRDD cassandraRowsRDD = javaFunctions（sc）.cassandraTable（“ks”，“sensor_readings”） . map（new Function（）{@Override public String call（CassandraRow cassandraRow）抛出异常{return cassandraRow.toString（）;}}）; System.out.println（“Data as CassandraRows \ n”StringUtils.join（cassandraRowsRDD.toArray（），“\ n”））;
2 回答
确保在import语句中包含以下内容：
如果您使用任何自定义类运行此代码，则需要使用以下参数将jar文件路径添加到spark-defaults.conf文件中：
尝试在spark submit命令中使用--jars选项 . 下载cassandra jar并在--jars选项中指定cassandra jar的名称，或在spark env文件中将其指定为extraClassPath .