首页 文章

使用Hadoop 2.7.4资源问题配置Yarn

提问于
浏览 次
4

我按照tutorial配置了hadoop 2.7.4 . DataNode，NameNode和SecondaryNameNode正常工作 .

但是当我运行yarn时，NodeManager会关闭以下消息

org.apache.hadoop.yarn.exceptions.YarnRuntimeException：org.apache.hadoop.yarn.exceptions.YarnRuntimeException：从Resourcemanager收到SHUTDOWN信号，NodeManager注册失败，来自ResourceManager的消息：来自localhost的NodeManager不满足最小分配，将SHUTDOWN信号发送到NodeManager .

我的系统有8个CPU，8 GB RAM . 如何使用这些资源配置纱线？我找到了很多如this但找不到解决我问题的任何解决方案 .

hadoop hdfs yarn hadoop2

1 回答

  • 1

    我在课程中遇到了同样的问题 . 我们使用的是具有 2 核心的Amazon虚拟机 .

    在 yarn-site.xml 中进行了各种修改后，我们运行了NodeManager，设置了以下属性

    <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

    在您的情况下，您可能需要 Build 8 虚拟核心 .

    回复于

相关问题