我试图通过使用“dse cassandra -k -s”在分析模式中调出datastax cassandra . 我在单节点设置上使用DSE 5.0沙箱 .
我已经使用SPARK_MASTER_IP配置了spark-env.sh以及SPARK_LOCAL_IP来指向我的LAN IP .
export SPARK_LOCAL_IP="172.40.9.79"
export SPARK_MASTER_HOST="172.40.9.79"
export SPARK_WORKER_HOST="172.40.9.79"
export SPARK_MASTER_IP="172.40.9.79"
以上所有变量均在spark-env.sh中设置 .
尽管如此， Worker 不会上来 . 它一直在寻找127.0.0.1的主人 . 这是我在/var/log/cassandra/system.log中看到的错误
WARN [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077
java.io.IOException: Failed to connect to /127.0.0.1:7077
来自dse client-tool的结果显示127.0.0.1
$ dse client-tool -u cassandra -p cassandra spark master-address
spark://127.0.0.1:7077
但是我能够从LAN IP 172.40.9.79访问spark web UI
任何帮助是极大的赞赏
1 回答
尝试在文件spark-defaults.conf中添加以下参数：spark.master local [*]或spark.master 172.40.9.79 . 也许这解决了你的问题