我正在对Azure Data Lake Analytics做一些基准测试 . 在执行阶段Combine_partition期间运行查询后,我收到错误:
错误E_RUNTIME_SYSTEM_ERROR消息已报告系统错误[VirtualAlloc返回0]
它看起来像内存异常 . 任何的想法?
Error
这看起来像你的连接可能已经收到太多数据并且耗尽了顶点获得的6GB内存 .
建议通过为该连接提供更好的分发策略来更好地分发数据或操作(例如,避免一个桶太大的数据偏差),使用提供更好规模的不同操作,或添加一些数据提示“诱使”优化器做出更好的分区决策 .
问题解决了 .
顶点耗尽了内存,因此我更改了查询,在同一数据和分区上使用WINDOWING函数消除了GROUP BY .
Tnx寻求帮助 .
2 回答
这看起来像你的连接可能已经收到太多数据并且耗尽了顶点获得的6GB内存 .
建议通过为该连接提供更好的分发策略来更好地分发数据或操作(例如,避免一个桶太大的数据偏差),使用提供更好规模的不同操作,或添加一些数据提示“诱使”优化器做出更好的分区决策 .
问题解决了 .
顶点耗尽了内存,因此我更改了查询,在同一数据和分区上使用WINDOWING函数消除了GROUP BY .
Tnx寻求帮助 .