我有一个场景，我在不同的节点上部署了4个Kafka Consumer实例 . 我的主题有4个分区 . 现在，我想以这样的方式配置消费者，使他们从主题的不同分区中获取 .
我知道，如果消费者来自同一个消费者群体，他们会确保分区平分 . 但就我而言，他们并不属于同一群体 .
为了实现您的需求，您需要消费者在同一个消费者群体中 . 仅在这种情况下应用“竞争消费者”模式：每个消费者从4接收1个分区，因此您有4个消费者，每个消费者从1个分区读取并接收该分区的消息 . 当消费者是不同消费者群体的一部分时，每个消费者将被分配到以发布/订阅方式接收来自所有消费者群组的消息的所有4个分区 .
1 回答
为了实现您的需求，您需要消费者在同一个消费者群体中 . 仅在这种情况下应用“竞争消费者”模式：每个消费者从4接收1个分区，因此您有4个消费者，每个消费者从1个分区读取并接收该分区的消息 . 当消费者是不同消费者群体的一部分时，每个消费者将被分配到以发布/订阅方式接收来自所有消费者群组的消息的所有4个分区 .