在Hadoop YARN上，如果我有更多容器来运行map任务或减少任务，处理作业会变得更快吗？
因此，如果我将容器分配内存小于默认值，那么我可以在主机上运行更多容器，并使作业更快 .
那么vcore怎么样，我的意思是如果我们有更多的容器可以运行，但它会根据vcore分配一个接一个地运行吗？换句话说，无论是多少容器还是少数容器，它仍然是一个接一个地运行 .
不，任务可以并行运行 .
让我们考虑您的YARN群集有24核和96 GB内存 . mapreduce.map.cpu.vcores 和 mapreduce.reduce.cpu.vcores 的默认值为1
mapreduce.map.cpu.vcores
mapreduce.reduce.cpu.vcores
因此，您可以启动24个容器，每个容器有4个GM内存，它们可以并行运行 . 如果您的工作需要超过24个容器，那么最初将启动前24个任务，并且一旦所需资源（容器）可用，将立即启动后续任务 .
1 回答
不，任务可以并行运行 .
让我们考虑您的YARN群集有24核和96 GB内存 .
mapreduce.map.cpu.vcores和mapreduce.reduce.cpu.vcores的默认值为1因此，您可以启动24个容器，每个容器有4个GM内存，它们可以并行运行 . 如果您的工作需要超过24个容器，那么最初将启动前24个任务，并且一旦所需资源（容器）可用，将立即启动后续任务 .