首页 文章

Apache Zeppelin在不同的机器上给出错误火花

提问于
浏览 次
0

我有一个本地火花群设置，一个主机和一个从机 . 我在更多的机器上安装了Zeppelin并尝试从Zeppelin运行一些命令来激活主机 . 为此，我创建了一个主人的火花解释器 spark://<ip>:7077

当我运行 sc 命令

它给出了这个错误

java.net.ConnectException：连接被拒绝在java.net.PlainSocketImpl.socketConnect（本机方法）在java.net.AbstractPlainSocketImpl.doConnect（AbstractPlainSocketImpl.java:339）在java.net.AbstractPlainSocketImpl.connectToAddress（AbstractPlainSocketImpl.java:200 ）java.net.SocksSocketImpl.connect（SocksSocketImpl.java:392）的java.net.AbstractPlainSocketImpl.connect（AbstractPlainSocketImpl.java:182）at java..Socket.connect（Socket.java:579）at org.apache位于org.apache.zeppelin.interpreter.remote.ClientFactory.create的org.apache.zeppelin.interpreter.remote.ClientFactory.create（ClientFactory.java:51）中的.thrift.transport.TSocket.open（TSocket.java:182） （ClientFactory.java:37）org.apache.commons.pool2.BasePooledObjectFactory.makeObject（BasePooledObjectFactory.java:60）org.apache.commons.pool2.impl.GenericObjectPool.create（GenericObjectPool.java:861）atg . org.apache.commons.pool2.impl.Gen上的apache.commons.pool2.impl.GenericObjectPool.borrowObject（GenericObjectPool.java:435） ericObjectPool.borrowObject（GenericObjectPool.java:363）org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.getClient（RemoteInterpreterProcess.java：139）org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret（RemoteInterpreter.java： 192）在org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret（LazyOpenInterpreter.java:93）在org.apache.zeppelin.notebook.Paragraph.jobRun（Paragraph.java:207）在org.apache.zeppelin.scheduler.Job .run（Job.java:170）atg.apache.zeppelin.scheduler.RemoteScheduler $ JobRunner.run（RemoteScheduler.java：304）at java.util.concurrent.Executors $ RunnableAdapter.call（Executors.java:471）at at java.util.concurrent.FutureTask.run（FutureTask.java:262）java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 201（ScheduledThreadPoolExecutor.java:178）java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run（ScheduledThreadPoolExecutor） .java：292）在java.util.concurrent.ThreadPoolExecutor.runWorker（Thre） adPoolExecutor.java:1145）java.lang.Thread.run上的java.util.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:615）（Thread.java:745）

我可以从zeppelin机器telnet端口 7077 . 这也是我的本地vm机器所以不应该与防火墙问题，也禁用所有防火墙 .

请让我知道这个问题 .

apache-spark apache-zeppelin

1 回答

  • 0

    也许你可以彻底了解这里报告的错误https://issues.apache.org/jira/browse/ZEPPELIN-305 .

    从那个bug中摘录一下

    I faced the same issue when I try to use Spark 1.5.1 under the latest version (0.6.0) of Zeppelin.

Following Dongjoon Hyun's suggestion, I set ZEPPELIN_MEM as -Xmx4g (the same value as SPARK_DRIVER_MEMORY in spark/conf/spark-env.sh) in zeppelin/conf/zeppelin-env.sh

export ZEPPELIN_MEM=-Xmx4g

As a result, the java.net.ConnectException problem is solved. Thanks!
    回复于

相关问题