如果我在一个分区中使用kafka主题一切正常 .
如果我使用5个kafka服务器和一个包含10个分区的主题,则分配给控制代理的分区的偏移量为-1 . 发送到这些分区的消息将丢失 .
梳理日志我没有看到任何错误 . 虽然我确实看到大量警告,分区已停止服务“INFO [ReplicaFetcher replicaId = 1,leaderId = 5,fetcherId = 0]重试leaderEpoch请求分区__consumer_offsets-2,因为领导报告错误:UNKNOWN_TOPIC_OR_PARTITION”
这是正常工作,直到执行资源限制的操作系统升级(dc / os) . 我已将资源分配增加到滑稽的比例 .
下面是在写入任何数据之前__consumer_offsets主题的前5个分区的kafdrop输出 .
划分
第一抵消
最后偏移大小
领导
副本
在同步副本中
首选领袖?
在复制?
0 0 0 0 3 3,1,2,4,5 1,2,3,4,5 Yes No
1 0 0 0 4 4,2,3,5,1 1,2,3,4,5 Yes No
2 0 0 0 5 5,3,4,1,2 1,2,3,4,5 Yes No
3 -1 -1 0 1 1,4,5,2,3 1,2,3,4,5 Yes No
4 0 0 0 2 2,5,1,3,4 1,2,3,4,5 Yes No
此时kafka服务器1正在运行,它的日志看起来很好 . 服务器1也被识别为控制代理 .