首页 文章

工作者无法连接到同一台计算机上的主服务器（无效关联） - 即使网址是正确的

提问于
浏览 次
3

spark主日志包括以下内容：

15/05/19 21:05:19 INFO Remoting：Remoting开始;听地址：[akka.tcp：//sparkMaster@mellyrn.local：7077]

但 Worker 无法连接：

15/05/19 21:27:13 INFO工作人员：连接到掌握akka.tcp：//sparkMaster@mellyrn.local：7077 / user / Master ... 15/05/19 21:27:13 WARN Remoting：试图与无法访问的远程地址关联[akka.tcp：//sparkMaster@mellyrn.local：7077] . 地址现在被封闭了5000毫秒，所有发送到此地址的消息都将被发送到死信 . 原因：连接被拒绝：mellyrn.local / 25.101.19.24:7077 15/05/19 21:27:25 INFO工作人员：重试与主人的连接（尝试＃1）15/05/19 21:27:25 INFO工作人员：正在连接掌握akka.tcp：//sparkMaster@mellyrn.local：7077 / user / Master ... 15/05/19 21:27:25 WARN Remoting：试图与无法访问的远程地址关联[akka.tcp：// sparkMaster @ mellyrn.local：7077 . 地址现在被封闭了5000毫秒，所有发送到此地址的消息都将被发送到死信 . 原因：连接被拒绝：mellyrn.local / 25.101.19.24:7077

有什么提示在这里试试吗？

apache-spark

2 回答

  • 1

    检查文件 conf/spark-defaults.conf ，将 spark.master 设置为 spark://mellyrn.local:7077

    另外，请记住在没有密码的情况下配置ssh访问 .

    $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    回复于
  • 1

    看来这些错误是 intermittent - 并且由于 host machine was completely out of memory at the time . 关闭一些不相关的内存占用过程后，上述错误大多消失了 .

    还有一个 delay in achieving the Master/Worker association 订单几十秒，我想了解 .

    请注意，没有任何日志消息描述低内存情况 .

    回复于

相关问题