首页 文章

Kafka sink connect - 如何为每个主题创建一个任务(表)

提问于
浏览
0

我们为名为Ampool ADS的产品实现了一个kafka接收器连接器,它将来自kafka主题的数据输入到相应的安瓿表 . 主题和表格按名称进行映射 .

我需要处理单个主题(从主题--->表中提取)到专用的sink任务中 .

因此,例如,如果我的配置包含3个不同的主题(topic1,topic2,topic3),则Sink连接器应创建3个不同的sink任务,每个任务(每个表)并行地专门提取到它们各自的/映射表 .

注意:处理单个主题到专用接收器任务背后的原因是,如果特定表处于脱机/未创建状态,则使用RetriableException机制很简单 . 配置的时间间隔后,只会重放单个主题/表记录 .

这有可能与kafka连接框架,如果是这样如何...?

1 回答

  • 0

    如果您将任务数设置为等于分区数(我认为您可以从连接器代码执行此操作 - 在创建配置时),那么每个任务将只获得一个分区 .

相关问题