我正在尝试使用Kafka-Connect和HDFS Sink Connector来传输数据 . 独立模式和分布式模式都运行良好,但它只写入HDFS一次(基于flush-size),而不是稍后流式传输 . 如果我遗漏了一些东西,请帮忙 .
汇编2.0.0和Kafka 0.9.0
我很久以前就遇到了这个问题 . 只是缺少参数
Connect-hdfs-sink properties
“logs.dir”: “/ hdfs_directory /数据/日志”
“request.timeout.ms”: “310000”
“offset.flush.interval.ms”: “5000”
“heartbeat.interval.ms”: “60000”
“session.timeout.ms”:“30万
“max.poll.records”: “100”
1 回答
我很久以前就遇到了这个问题 . 只是缺少参数
Connect-hdfs-sink properties
“logs.dir”: “/ hdfs_directory /数据/日志”
“request.timeout.ms”: “310000”
“offset.flush.interval.ms”: “5000”
“heartbeat.interval.ms”: “60000”
“session.timeout.ms”:“30万
“max.poll.records”: “100”