-
0 votesanswersviews
使用Kafka将apache服务器日志加载到HDFS
我想使用Kafka将apache服务器日志加载到hdfs .creating topic: ./kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic lognew tailing the apache access log directory: tai... -
1 votesanswersviews
Camus Migration - Kafka HDFS Connect不从设置偏移量开始
我目前正在使用Confluent HDFS Sink Connector(v4.0.0)来取代Camus . 我们正在处理敏感数据,因此我们需要在切换到连接器时保持偏移的一致性 . 转换计划: 我们创建了hdfs sink连接器并订阅了一个写入临时hdfs文件的主题 . 这将创建一个名为 connect- 的使用者组 使用DELETE请求停止连接器 . 使用 /usr/bin/kafk...