首页 文章

无法使用SPARK_ENABLED = 1启动DSE

提问于
浏览
1

我们运行6节点集群:

HADOOP_ENABLED=0
SOLR_ENABLED=0
SPARK_ENABLED=0
CFS_ENABLED=0

现在,我们想为所有人添加Spark . 似乎“添加”不是正确的术语,因为这不会失败 . 无论如何,我们已经完成的步骤:1 . 排空其中一个节点2.将/ etc / default / dse更改为SPARK_ENABLED = 1和HADOOP_ENABLED = 0 3. sudo service dse restart

并在日志中得到以下内容:

ERROR [main] 2016-05-17 11:51:12,739 CassandraDaemon.java:294 - 初始化期间的致命异常org.apache.cassandra.exceptions.ConfigurationException:如果snitch的数据中心(Analytics)与以前的数据中心不同,则无法启动节点( Cassandra ) . 请修复snitch配置,停用并重新引导此节点或使用标志-Dcassandra.ignore_dc = true .

已经回答了两个相关问题:

不幸的是,清除节点上的数据不是一种选择 - 为什么我会这样做?我需要数据完好无损 .

使用“-Dcassandra.ignore_rack = true -Dcassandra.ignore_dc = true”在制作中有点可怕 . 我不明白为什么DSE想要创建另一个DC,为什么它不能只使用现有的?

我知道根据datastax的doc,我们应该使用不同的DC为不同的工作负载划分负载 . 在我们的例子中,我们只想在Cassandra使用相同DC运行的相同节点上运行SPARK作业 .

那可能吗?

谢谢!

1 回答

  • 1

    其他答案都是正确的 . 这里的问题是试图警告您,您之前已将此节点标识为在另一个DC中 . 这意味着它可能没有网络拓扑策略的任何密钥空间的正确数据 . 例如,如果您的NTS键空间在“Cassandra”中只有一个副本并且将DC更改为“Analytics”,则可能会无意中丢失所有数据 .

    此警告和随附的标志告诉您,您正在做一些您不应该在 生产环境 群集中执行的操作 .

    真正的解决方案是使用GossipingFileSnitch明确命名dc,而不是依赖于基于DSE工作负载的SimpleSnitch .

    在这种情况下,切换到GPFS并将DC名称设置为Cassandra .

相关问题