Kafka 版本：0.10.2.1，
Kafka Producer错误过期10条记录TOPIC：XXXXXX：6686毫秒已经过了批量创建加上逗留时间org.apache.kafka.common.errors.TimeoutException：过期10条记录为TOPIC：XXXXXX：6686毫秒有从批量创建加上逗留时间开始传递
任何线索将不胜感激..
发生此异常是因为您以比发送速度快得多的速度对记录进行排队 .
当您调用send方法时，ProducerRecord将存储在内部缓冲区中以发送给代理 . 一旦ProducerRecord被缓冲，该方法立即返回，无论它是否已被发送 .
记录被分组为批次，用于发送给代理，减少每条消息的传输，并提高吞吐量 .
将记录添加到批处理中后，发送该批处理有一个时间限制，以确保它在指定的持续时间内发送 . 这由Producer配置参数request.timeout.ms控制，默认为30秒 .
如果批处理的排队时间超过超时限制，则将引发异常 . 该批次中的记录将从发送队列中删除 .
Producer configs block.on.buffer.full, metadata.fetch.timeout.ms and timeout.ms have been removed. They were initially deprecated in Kafka 0.9.0.0.
因此，试着增加 request.timeout.ms
不过，如果您有任何与吞吐量相关的问题，您也可以参考以下内容blog
我有相同的消息，我修复了它从zookeeper清理kafka数据 . 之后它正在发挥作用 .
我在aks集群中遇到了同样的问题，只是重新启动kafka和zookeeper服务器解决了这个问题 .
3 回答
发生此异常是因为您以比发送速度快得多的速度对记录进行排队 .
当您调用send方法时，ProducerRecord将存储在内部缓冲区中以发送给代理 . 一旦ProducerRecord被缓冲，该方法立即返回，无论它是否已被发送 .
记录被分组为批次，用于发送给代理，减少每条消息的传输，并提高吞吐量 .
将记录添加到批处理中后，发送该批处理有一个时间限制，以确保它在指定的持续时间内发送 . 这由Producer配置参数request.timeout.ms控制，默认为30秒 .
如果批处理的排队时间超过超时限制，则将引发异常 . 该批次中的记录将从发送队列中删除 .
Producer configs block.on.buffer.full, metadata.fetch.timeout.ms and timeout.ms have been removed. They were initially deprecated in Kafka 0.9.0.0.
因此，试着增加 request.timeout.ms
不过，如果您有任何与吞吐量相关的问题，您也可以参考以下内容blog
我有相同的消息，我修复了它从zookeeper清理kafka数据 . 之后它正在发挥作用 .
我在aks集群中遇到了同样的问题，只是重新启动kafka和zookeeper服务器解决了这个问题 .