测试完成:
-
使用复制因子3创建的Kafka主题 .
-
使用以下配置创建的Flume代理,
source type = org.apache.flume.source.kafka.KafkaSource,
channel type = SPILLABLEMEMORY,
sink type = org.apache.flume.sink.kite.DatasetSink
-
Kafka数据 生产环境 商开始为kafka主题注入流量 .
-
Flume开始轮询和消费记录 .
-
观察到kafka bytesIn / sec和bytesout / sec . 当kafka的数据损失仍然来自 生产环境 者时,发现Bytesout / sec约为bytesin / sec的3倍 .
-
Kafka 生产环境 者代码停止了 . 观察到的BytesIn / sec停止使用graphana图 .
但是现在Bytesout / sec降到了非常低的值,并且水槽在很长一段时间内以非常低且恒定的速率继续消耗该主题 .
在水槽完成主题消耗之前,观察到了巨大的潜伏期 .
这可能是什么问题,有没有办法确定水槽 Kafka 源是否运行缓慢?任何时候在水槽日志中都没有观察到异常或警告 .
任何帮助都会有很大帮助 .