首页 文章

Kafka Connect HDFS Sink Issue

提问于
浏览
3

我正在尝试使用Kafka-Connect和HDFS Sink Connector来传输数据 . 独立模式和分布式模式都运行良好,但它只写入HDFS一次(基于flush-size),而不是稍后流式传输 . 如果我遗漏了一些东西,请帮忙 .

汇编2.0.0和Kafka 0.9.0

1 回答

  • 2

    我很久以前就遇到了这个问题 . 只是缺少参数

    Connect-hdfs-sink properties

    “logs.dir”: “/ hdfs_directory /数据/日志”

    “request.timeout.ms”: “310000”

    “offset.flush.interval.ms”: “5000”

    “heartbeat.interval.ms”: “60000”

    “session.timeout.ms”:“30万

    “max.poll.records”: “100”

相关问题