首页 文章

Flink - 如何通过JMX Reporter导出flink的kafka连接器偏移?

提问于
浏览
0

根据here,我启用了JMX Exporter并且能够连接到它以查看一些指标:jobmanager.Status,jobmanager.job .

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789

但是,我没有看到KafkaConnector的指标(commitedOffets,currentOffsets) . How do I do this?

我想从Flink那里得到那些偏差来计算

消费者滞后=最新的kafka分区偏移 - flink分区偏移 .

1 回答

  • 0

    我找到了答案 . flink-conf.yaml 中的JMX端口配置应该是范围(9250-9260),而不是1端口号 . Flink需要至少2个端口来同时导出JobManager和TaskManager的指标 .

    metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
    metrics.reporter.jmx.port: 9250-9260
    

    如果仅指定了1个端口(问题中为8789),则仅导出JobManager中的度量标准 . KafkaConnector的度量标准属于TaskManager的度量标准,因此不会出现 .

相关问题