我想问一下,在yarn-site.xml和mapred-site.xml中的hadoop yarn中都有像最小和最大内存或vcore这样的属性 . 我有点混淆,实际上实际上分配了多少内存和vcore,因为在配置上我们只写最小值和最大值而不是实际大小 .
如果我有内存16 GB和4 vcore和这样的配置:
yarn.scheduler.minimum-allocation-mb = 1024
yarn.scheduler.maximum-allocation-mb = 8192
yarn.scheduler.minimum-allocation-vcores = 1
yarn.scheduler.maximum-allocation-vcores = 32
yarn.nodemanager.resource.memory-mb = 8192
yarn.nodemanager.resource.cpu-vcores = 8
实际上,我的计算机为一个容器分配了多少内存和vcore?
这就是全部,很多
1 回答
YARN是通用资源管理器,你可以将它用于各种应用程序,如mapreduce,spark,hive,kafka ....
因此,在纱线中,我们定义应用程序可以请求的每个容器的最小和最大内存/核心,在特定应用程序中定义所需的实际内存和核心 .
在mapreduce中,我们定义了要分配给mapred-site.xml中的map和reduce任务的内核和内存 .