Hadoop YARN群集/ Spark和RAM磁盘

因为我的计算任务需要快速磁盘I / O,所以我有兴趣在运行Spark的YARN集群中的每个工作节点上安装大型RAM磁盘,因此我想知道YARN集群管理器如何处理这种RAM磁盘占用的内存 .

例如,如果我要在每台128GB RAM机器上为一块RAM磁盘分配32GB,那么YARN集群管理器是否知道如何分配RAM以避免在执行任务时过度分配内存(在这种情况下,是否需要将RAM分配给被征用的任务,或者最多只有96GB)?

如果是这样,有没有办法向YARN集群管理器表明存在RAM磁盘,那么,RAM的特定分区是否禁止YARN? Spark会不会知道这些限制?

回答(1)

2 years ago

在Spark配置中,您可以设置驱动程序和执行程序配置,如核心和内存分配量 . 此外,当您使用yarn作为资源管理器时,它支持一些额外的配置,您可以帮助您更好地管理群集资源 . “spark.driver.memoryOverhead”或“spark.yarn.am.memoryOverhead”,这是堆外空间的数量,默认值为

AM存储器* 0.10,最小值为384

有关更多信息,请访问link .