首页 文章

Kafka Connect SourceTask的轮询间隔

提问于
浏览
4

我正在使用Kafka-Connect API实现自定义Source Connector,可用于轮询REST-API并将JSON响应接收到Kafka主题中 . 现在我想知道如何实现SourceTask的轮询间隔,JDBC Connector如何提供 . 某处我必须将线程设置为睡眠状态,但我必须在哪里执行此操作?

2 回答

  • 3

    使用max.poll.interval.ms .

    请参考以下链接:

    https://kafka.apache.org/documentation/

  • 0

    我在 SourceTask 实现中通过添加类型为 long 的私有字段来解决此用例来存储时间戳 . 在第一个 poll() 调用时,该字段尚未初始化,因此将对已配置的REST-API进行轮询 . 在第一次调用时,提到的 long 字段用当前时间戳初始化 . 在以后的所有 poll() 调用中,都会检查上一次调用的时间戳 . 如果自上一个 poll() 以来经过的毫秒数小于两个轮询之间的配置间隔,我将线程发送到睡眠状态,因为已经过了配置的毫秒数 .

相关问题