我需要代表一组刚刚公开REST API的懒惰消费者来使用消息 . 因此，我计划让Sink连接器从Kafka主题中获取消息，并对公开的API执行HTTP POST操作 .
需要考虑的关键因素之一是限制 . 您建议使用什么机制来限制Sink Tasks以满足API的层SLA . 我知道Kafka具有客户端配额功能，但是，跟踪API请求/ min或sec的最佳机制是什么，这将允许动态调整客户端配额？
我认为实现REST API速率限制的最佳方法是在 SinkTask.put() 中根据需要阻止连接器代码 . 您可能想要考虑在 SinkTask 水平上的速率限制是否足够，或者您需要它是全局的（自协调以来更复杂） .
SinkTask.put()
SinkTask
您正在考虑使用Kafka配额的优点是分布式方面是为您处理的，但我相信那些目前只能根据传输的字节进行配置 .
1 回答
我认为实现REST API速率限制的最佳方法是在
SinkTask.put()中根据需要阻止连接器代码 . 您可能想要考虑在SinkTask水平上的速率限制是否足够，或者您需要它是全局的（自协调以来更复杂） .您正在考虑使用Kafka配额的优点是分布式方面是为您处理的，但我相信那些目前只能根据传输的字节进行配置 .