我 Build 了一个包含4个节点的集群（3个从节点，1个主节点和从节点），每个节点都有

  • 8Gb RAM

  • 8vCores

所以，我的集群完全拥有32Gb RAM和32vCores . 我的配置如下：

  • hdfs-site.xml
    enter image description here

  • yarn-site.xml
    enter image description here

  • mapred-site.xml
    enter image description here

当我使用输入文件151Mb运行Hadoop流时，Yarn显示如下信息：

enter image description here

似乎我的设置没有使用集群的所有资源，即很多内存和CPU核心没有使用 . 所以，我的应用程序运行得很低 . 我尝试了很多方法，但没有成功 . 利用群集的所有资源的最佳设置是什么？

streaming yarn hadoop2