对于我们真正的高流量网站,我们已经 Build 了自己的跟踪解决方案 . 我们在峰值时记录每秒1千印象 . 为此,我们使用最新的Cassandra 3 .
现在我们要对这些数据进行实时监控 . 问题是,实际记录的数据不能很好地从中生成统计数据 . 所以我想到了Cassandra中的一个新表,它有一个匹配的分区/主键,并且由一个额外的 INSERT
填充 . 但是我说_1645432_ ve说,只有实时统计是重要的,所以我想添加一个TTL,比如60秒对这个监控表中的所有数据 . 这应确保自动删除旧数据 .
但有人可以说,如果这会导致这种高流量的问题,因为每分钟有多少删除?由于我们只从该监控表中选择了最后5-10秒,因此墓碑可能不是 SELECT
中的问题,但我认为可能存在大量压缩和GC会破坏性能!?
1 回答
是的,显然会的 .
使用短TTL意味着在系统中引入太多墓碑,这可能导致:
1.堕胎
2.内存和堆压力
3.Latency
在这种情况下,你应该非常频繁地运行压缩以从系统中驱逐墓碑,但这也带来了资源,空间消耗和可能导致高IO的缺点 .