我正在尝试使用3个Ubuntu计算机中的Apache Spark 1.4.1设置集群（名为cloud-server-3到5） . 我之前使用Spark创建了自己的集群，但这次我似乎无法让它运行 .

我为每台机器做了以下操作 .

  • 下载了最后一个预装版本的Spark with Hadoop 2.6，将其放在/ var / www / spark中，并将SPARK_HOME添加到环境变量中 .

  • 安装了openjdk-7-jdk并将JAVA_HOME添加到环境变量中 .

  • 使用ssh-keygen和ssh-copy-id在每台机器之间共享SSH密钥 .

  • 使用每台计算机中的主IP和本地IP创建conf / spark-env.sh文件 .

现在问题开始了 . 我可以在每台机器上创建主机和从机，并且可以通过使用其名称，IP或仅本地主机在同一台机器中创建主机和从机并连接它们 . 但我无法连接不同的机器 .

最奇怪的是，如果我把我的奴隶放在conf / slaves文件中并运行start-all.sh，我想要主人，那么主人就会启动它在另一台机器上启动工作人员然后 Worker 无法连接回来对主人 . 我一直在 Cloud 服务器3中获取高手，在 Cloud 服务器5中获得奴隶

“15/08/20 18:48:01 INFO工作者：连接到掌握akka.tcp：// sparkMaster @ cloud-server-3：7077 / user / Master ...

15/08/20 18:48:01 WARN Remoting：尝试与无法访问的远程地址关联[akka.tcp：// sparkMaster @ cloud-server-3：7077] . 地址现在被封闭了5000毫秒，所有发送到此地址的消息都将被传递给死信“

我试过禁用防火墙，确认机器可以相互ping通，确认我可以在没有密码的情况下SSH每台机器并编辑/ etc / hosts并添加每台机器的IP和名称 . 你们有什么想法吗？

ubuntu ssh apache-spark cluster-computing