首页 文章

当YARN正在运行时，提交的hadoop作业会陷入Accepted状态

提问于
浏览 次
0

我正在使用VirualBox在Windows笔记本电脑上运行Ubuntu 14 VM . 我为 Single Node 配置了Apache发行版HDFS和YARN . 当我运行dfs和YARN时，所有必需的恶魔都在运行 . 当我没有配置YARN并且只运行DFS然后我可以成功执行MapReduce作业时，但是当我运行YARN然后工作卡在ACCEPTED状态时，我尝试了许多关于更改节点的内存设置但没有运气的设置 . 以下链接我按照设置单节点https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.html

core-site.xml

`
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>`

settings of hdfs-site.xm l`

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
    <name>dfs.name.dir</name>
    <value>/home/shaileshraj/hadoop/name/data</value>
    </property>
</configuration>`

settings of mapred-site.xml

`<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>`

settings of yarn-site.xml `

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>2200</value>
      <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
    </property>

    <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>500</value>
    </property>

RM Web UI
RM Web UI

这是RM Web UI的Application Master屏幕 . 我可以看到AM容器未分配，可能是问题
AM Web UI

apache hadoop yarn resourcemanager namenode

1 回答

  • 0

    如果作业没有获得足够数量的资源，它将处于 ACCEPTED 状态 . 每当它获得资源时，它将变为 RUNNING 状态 .

    在您的情况下，打开 Resource Manager WebUI 并检查有多少资源可用于运行作业 .

    回复于

相关问题