我有一个带有~500列的Cassandra表和主键 ((userId, version, shredId), rowId) ，其中 shredId 用于将数据均匀地分配到不同的分区 . 由于数据用于实时聚合，因此表还具有2天的默认TTL以使数据到期 . 压缩策略是TimeWindowCompactionStrategy .
工作流程是：
-
将数据写入输入表（具有一致性EACH_QUORUM）
-
运行spark聚合（在
userId和version上的行上） -
将聚合数据写入输出表 .
但是当数据量变大时，我得到 Cassandra failure during read query ;更具体地说，一旦一个分区中有超过210行，读取查询就会失败 .
如何调整数据库并更改属性以解决此问题？
1 回答
经过调查研究，发出的是由于某些空列插入了空值引起的 . 这会创建大量的逻辑删除，并最终超时查询 .