我们有一个ElasticSearch-Logstash-Kibana部署,其中多个logstash-forwarders(来自多个服务日志)将日志推送到logstash然后将其发送到Kafka,然后又有一个logstash从Kafka中提取这些日志并在ElasticSearch集群中对它们进行索引 .

有人可以告诉我: -

  • 在此类部署中处理流量高峰的最佳方法是什么?

  • 我们可以配置Kafka,使单个logstash-forwarder(单个服务)不会占用整个设置吗?我们想确保所有服务都能公平地使用该设置吗?

  • 如何确保一个指数与其他指数相比不会增长?我们有多个服务日志的日常索引,我们希望确保在一个服务索引(或分片)变得太大时,我们希望阻止该服务日志 . 这样集群性能不会受到影响?