我每天都有超过10TB的数据被摄入德鲁伊，数据格式是：srcIP，DestIP，Traffic .
会有一些频繁的查询，例如： to get the max/min/average of traffic every minute. 实际上我们每分钟都有大约100K的记录被摄入德鲁伊 . 所以我需要预先计算每分钟的指标，否则查询会很慢 .
to get the max/min/average of traffic every minute.
因此，我可以非常快速地预先计算每分钟的最小/最大/最大流量 . 此外，用户可能希望按小时或半天获得 min/max/average 的流量 .
min/max/average
为了计算最小值/最大值/平均值，我认为如果以后没有数据更改，德鲁伊就足够有效地计算和缓存结果 . 即使你在摄取时间这样做，它仍然需要比德鲁伊可能采取的最小/最大/平均值更多的资源 .
您可以考虑优化druid配置以有效地为您的用例工作，例如 . 数据的粒度，聚合或段大小 .
你需要使用TYPE min和max
"type": "**timeMax**", "type": "**timeMin**”,
而对于30分钟的聚合，你需要groupBy
granularity":"**thirty_minute**"
为average ...
2 回答
为了计算最小值/最大值/平均值，我认为如果以后没有数据更改，德鲁伊就足够有效地计算和缓存结果 . 即使你在摄取时间这样做，它仍然需要比德鲁伊可能采取的最小/最大/平均值更多的资源 .
您可以考虑优化druid配置以有效地为您的用例工作，例如 . 数据的粒度，聚合或段大小 .
你需要使用TYPE min和max
而对于30分钟的聚合，你需要groupBy
为average ...