我在Spark集群中有3个节点 . 同样的3个节点也是Cassandra集群的一部分 . Cassandra和Spark安装在这3台机器上 .

每个节点都有8GB RAM和4个内核 . 我有6个 Actuator 在这3个节点上运行,所以在每个节点上我有2个 Actuator . 每个 Actuator 都运行2GB RAM和1个核心 .

我正在为kafka数据创建10秒的流 . 而且我在10秒内从 Kafka 获得了大约400-500k(4-5万卢比)的批次记录 . 我正在为这些数据创建数据框 . 但是当我将这个数据帧写入Cassandra时,它需要大约2分钟 .

所以我认为它很慢,那么是否有任何方法/方法来提高这种性能?我应该做些什么改变来减少Cassandra的插入时间?