当我们在kafka中创建主题时,代理为此主题中的分区分配副本,并且第一副本将是首选副本,这意味着kafka群集将根据“不 balancer 率”将分区负责人迁移到首选副本 .
考虑到随着代理的增加,分区首选副本始终是创建这些主题时分配的分区 . 因此,随着代理规模的变化,负载 balancer 不可扩展 .
所以我想问一下,当经纪人在当前版本的kafka中增加时,有任何策略可以修改首选副本的分配 .
Kafka文档有一个关于此的部分:http://kafka.apache.org/documentation/#basic_ops_cluster_expansion
展开群集时,可以使用重新分配工具 kafka-reassign-partitions.sh 将一些现有分配移动到新代理上 .
kafka-reassign-partitions.sh
Kafka没有提供自动化的方法,但有第三方工具提供像https://github.com/linkedin/cruise-control
1 回答
Kafka文档有一个关于此的部分:http://kafka.apache.org/documentation/#basic_ops_cluster_expansion
展开群集时,可以使用重新分配工具
kafka-reassign-partitions.sh
将一些现有分配移动到新代理上 .Kafka没有提供自动化的方法,但有第三方工具提供像https://github.com/linkedin/cruise-control