我正在使用大数据,我有一个70GB的JSON文件 . 我正在使用jsonlite库将文件加载到内存中 .

我已经尝试过AWS EC2 x1.16large机器(976 GB RAM)来执行此加载,但是在加载1,116,500条记录后,R中断了错误: Error: cons memory exhausted (limit reached?) . 考虑到我没有足够的RAM,我试着在一台更大的EC2机器上加载相同的JSON,内存为1.95TB .

在加载1,116,500条记录后,该过程仍然破裂 . 我正在使用R版本3.1.1,我正在使用 --vanilla 选项执行它 . 所有其他设置均为默认值 .

这是代码:

library(jsonlite)
data <- jsonlite::stream_in(file('one.json'))

有任何想法吗?