-
5 votesanswersviews
Spark Streaming与Kafka 2.0.0依赖项
我正在尝试使用spark-streaming2.0.0来使用kafka 0.8主题,我正在尝试识别我在build.sbt文件中尝试使用这些依赖项所需的依赖项 libraryDependencies += "org.apache.spark" %% "spark-streaming_2.11" % "2.0.0" 当我运行sbt包时,我得... -
0 votesanswersviews
java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils
我正在使用以下pom.xml来构建我的项目 . 当我用spark提交生成的jar时,它会出现以下错误 . java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils 但是,如果我包含--packages“org.apache.spark:spark-streaming-kafka-0-8-... -
1 votesanswersviews
DSE Spark Streaming Kafka NoSuchMethodError
我正在尝试提交一个火花流kafka作业,它只是从kafka主题读取字符串行 . 但是,我收到以下异常 15/07/24 22:39:45 ERROR TaskSetManager:阶段2.0中的任务0失败了4次;中止作业线程“Thread-49”中的异常org.apache.spark.SparkException:作业因阶段失败而中止:阶段2.0中的任务0失败4次,最近失败:阶段2.0中失去任... -
4 votesanswersviews
Kafka Spark流媒体:无法阅读消息
我正在整合Kafka和Spark,使用spark-streaming . 我创建了一个作为kafka制作人的主题: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 我正在kafka发布消息并尝试使用spark-streaming j... -
4 votesanswersviews
Spark Streaming Kafka Consumer
我正在尝试设置一个Spark Streaming简单应用程序,它将从Kafka主题中读取消息 . 经过大量工作后,我处于这个阶段,但得到下面显示的例外情况 . 码: public static void main(String[] args) throws Exception { String brokers = "my.kafka.broker" + ":...