测试完成:

  • 使用复制因子3创建的Kafka主题 .

  • 使用以下配置创建的Flume代理,

source type = org.apache.flume.source.kafka.KafkaSource,

channel type = SPILLABLEMEMORY,

sink type = org.apache.flume.sink.kite.DatasetSink

  • Kafka数据 生产环境 商开始为kafka主题注入流量 .

  • Flume开始轮询和消费记录 .

  • 观察到kafka bytesIn / sec和bytesout / sec . 当kafka的数据损失仍然来自 生产环境 者时,发现Bytesout / sec约为bytesin / sec的3倍 .

  • Kafka 生产环境 者代码停止了 . 观察到的BytesIn / sec停止使用graphana图 .

但是现在Bytesout / sec降到了非常低的值,并且水槽在很长一段时间内以非常低且恒定的速率继续消耗该主题 .

在水槽完成主题消耗之前,观察到了巨大的潜伏期 .

这可能是什么问题,有没有办法确定水槽 Kafka 源是否运行缓慢?任何时候在水槽日志中都没有观察到异常或警告 .

任何帮助都会有很大帮助 .