-
0 votesanswersviews
Spark应用程序因java.lang.OutOfMemoryError失败：Java堆空间
我有使用wholetextfile api读取文件的spark程序 . 应用程序使用1个执行程序，具有6GB RAM和4个内核 . 当我提供几个小文件（文件总大小为3GB）时，应用程序正在成功处理所有文件 . 但如果我提供大小为2GB的单个大文件，则火花应用程序失败并出现以下错误 . 无法激发2GB大小的app阅读文件？或者我需要更改任何内存设置？ 17/06/14 21:56:22 ERROR ...