有人可以帮助我理解这个特定的 kafka 经纪人指标以进行监控。我已经尝试阅读文档和一些文章,但我不明白这个指标需要如何监控,以避免对 prod 环境中的 kafka 经纪人造成任何伤害。我发现尖峰在我的产品环境中以每秒 5k 的速度达到这个指标,但随后它又回到了每秒 2k 甚至更低。
每个消息传递的字节数相同。
任何详细的解释都会非常有帮助
当您遇到任何性能问题时,您应该关注度量(JMX),它们提供每个主题“in”和“out”的每秒字节数等信息。您提到的指标或相当通用的指标并不是太多。
我们在测试中遇到过 Kafka 具有最大的吞吐量,它取决于消息大小。因此,当我们在网络中发送 1MB 消息时,我们喜欢 170MB/s 传输,但是通过发送 10MB 消息我们得到了 150MB/s。所以重要的不是消息的唯一数量,而是大小。
要衡量 Kafka,您可以使用任何可以阅读和理解 JMX 的内容。使用它,我们没有任何重大的性能问题。
关于 Kafka JMX 属性的非常详细的文档:监控卡夫卡
1 回答
当您遇到任何性能问题时,您应该关注度量(JMX),它们提供每个主题“in”和“out”的每秒字节数等信息。您提到的指标或相当通用的指标并不是太多。
我们在测试中遇到过 Kafka 具有最大的吞吐量,它取决于消息大小。因此,当我们在网络中发送 1MB 消息时,我们喜欢 170MB/s 传输,但是通过发送 10MB 消息我们得到了 150MB/s。所以重要的不是消息的唯一数量,而是大小。
要衡量 Kafka,您可以使用任何可以阅读和理解 JMX 的内容。使用它,我们没有任何重大的性能问题。
关于 Kafka JMX 属性的非常详细的文档:监控卡夫卡