首页 文章

在启用spark的DSE中可以为Cassandra分配多少内存？

提问于
浏览 次
1

目前我的DSE Cassandra耗尽了所有内存 . 因此，经过一段时间和增加的数据量，整个系统崩溃 . 但是火花和操作中心和代理等也需要几个G内存 . 我现在只想将一半的内存分配给cassandra，但不确定这是否有效 .

这是我的错误消息：

kernel: Out of memory: Kill process 31290 (java) score 293 or sacrifice child
apache-spark cassandra datastax datastax-enterprise

1 回答

  • 3

    默认情况下，DSE将Executor内存设置为 (Total Ram)*(.7) - Ram Used By C* . 这应该适用于大多数系统 . 通过这种设置，它应该在dse.yaml文件中设置为不应该't be able to OOM C* or Vice Versa. If you want to change that multipler (.7) it'

    initial_spark_worker_resources: 0.7

    如果我的系统最小内存为16GB，但如果你是认真的话，我建议至少32GB . 如果你正在进行大量的内存缓存，这应该会增加更多 .

    回复于

相关问题