我正在运行一个spark作业,它的输入已分为每个大小为10 MB的分区 .

当我以小的总输入大小运行这个火花作业时,我没有看到任何内存不足(OOM),但是当我运行这个总输入大小的火花作业时,我看到了OOM .

在这两种情况下,执行程序都分配了相同数量的内存 . 在这两种情况下,每个执行程序都有2个核心 . 在这两种情况下,每个任务都被赋予相同的输入大小,因为它被划分为大小为10 MB的分区 .

你知道为什么我看到OOM,当我以大的总输入大小运行这个工作时?