首页 文章

H2O:无法通过python连接到h2o集群

提问于
浏览
1

我有一个运行HDP 2.3.0的5节点hadoop集群 . 我在Yarn上设置了一个H2O集群,如here所述 .

在运行以下命令

hadoop jar h2odriver_hdp2.2.jar water.hadoop.h2odriver -libjars ../h2o.jar -mapperXmx 512m -nodes 3 -output /user/hdfs/H2OTestClusterOutput

我得到以下输出

H2O cluster (3 nodes) is up
(Note: Use the -disown option to exit the driver after cluster formation)
(Press Ctrl-C to kill the cluster)
Blocking until the H2O cluster shuts down...

当我尝试执行命令时

h2o.init(ip="10.113.57.98", port=54321)

这个过程在这个阶段仍然停滞不前 . 在尝试使用ip:54321连接到Web UI时,浏览器会尝试无休止地加载H2O管理页面但是什么都没有显示 .

在强制终止init进程时,我收到以下错误

No instance found at ip and port: 10.113.57.98:54321. Trying to start local jar...

但是,如果我尝试在不设置H2O集群的情况下使用H2O和python,一切运行正常 .

我以root用户身份执行了所有命令 . root用户具有从/ user / hdfs hdfs目录读取和写入的权限 .

我不确定这是权限错误还是端口不可访问 .

任何帮助将不胜感激 .

1 回答

  • 2

    看起来你正在使用H2O2(H2O Classic) . 我建议将H2O升级到最新版本(H2O 3) . 这里有一个专门为HDP2.3构建的内容:http://www.h2o.ai/download/h2o/hadoop

    运行H2O3也有点清洁:

    hadoop jar h2odriver.jar -nodes 1 -mapperXmx 6g -output hdfsOutputDirName
    

    此外,每个节点512mb很小 - 你的用例是什么?我会给节点更多的内存 .

相关问题