我正在使用带有cassandra版Cassandra 2.1.8的spark 1.6 . 我有2个数据中心的设置,包括3台cassandra机器和2台火花 Worker 机器 . 我正在运行spark 1.4,我的工作运行正常 . 它取自cassandra,处理它 .

当我使用spark 1.6运行我的工作时,当作业试图从cassandra读取时,cassandra中的服务器发生故障并且第24个任务中的火花驱动程序挂起,工作机器日志读取为未找到分区rdd_5_266,计算它

可能是什么问题?这是火花的问题吗?

此外,我也可以在工作日志中看到此消息无法在60秒内获取通知锁定,忽略了loc1dc2node1 / 10.0.2.172的UP通知:9042

此外,我尝试启用调试日志并看到此消息16/03/08 11:53:39 DEBUG TaskSchedulerImpl:parentName :, name:TaskSet_0,runningTasks:4

这条线一次又一次地打印出来

cassandra有数百万条记录

在spark http://www.filedropper.com/stderr中为其中一个执行程序添加日志

让我在这里添加更多的东西1我正在根据添加时间过滤记录,这是集群键2的一部分火花作业能够与火花1.4和cassandra conector 1.4 3运行良好我正在使用最新的火花1.6和cassandra 1.5连接器

在cassandra连接器中是否有任何从1.4到1.5的变化,以读取使节点崩溃的记录