我正在使用带有纱线轮廓的giraph-1.3 . 为了开始，我在ec2集群上配置了1个namenode和2个datanode . 我的应用程序正常工作，因为我在日志（和输出目录）中看到了预期的输出 . 我用“-w 2”参数启动了giraph，因为我有两个datanode .
在datanode1的用户日志中，我找到了第一个worker的日志 .
在datanode2的用户日志中，我也发现了第二个 Worker 的日志和主人的日志 .
我希望在namenode中找到master的日志，即我希望master在namenode上运行 . 这样对吗？
也许我必须配置另一个datanode，然后我会在这个新的datanode上找到主日志？
2 回答
我知道hadoop / giraph可以在datanode上创建容器 . Hadoop为应用程序主机创建一个容器，然后giraph为主机创建一个容器 . 此外，giraph为与-w参数对应的worker创建了一些容器 .
YARN总是为每项工作创建一个Application Master .
根据您的工作量，您可以根据需要启动尽可能多的“工作人员”，但由于您只有2个数据节点，因此您只能拥有2个NodeManager以实现最大并行度
NodeManager具有可用的最大内存空间，并且作业任务的YARN容器获得该部分的子部分以便进行处理 .