我正在尝试构建一个基于this tutorial的管道,其中Kafka从具有文件源连接器的文件中读取 . 使用these Docker images作为Elastic Stack,我想将Logstash注册为"quickstart-data"主题的使用者,但我暂时失败了 .
这是我的logstash.conf文件:
input {
kafka {
bootstrap_servers => 'localhost:9092'
topics => 'quickstart-data'
}
}
output {
elasticsearch {
hosts => [ 'elasticsearch']
user => 'elastic'
password => 'changeme'
}
stdout {}
}
与Elasticsearch的连接有效,因为我使用心跳输入进行了测试 . 我得到的消息错误如下:无法 Build 与节点-1的连接 . 经纪人可能无法使用 . 放弃发送元数据请求,因为没有节点可用
有任何想法吗?
1 回答
我建议您保持简单,并使用Kafka Connect将数据登陆到Elasticsearch:https://docs.confluent.io/current/connect/connect-elasticsearch/docs/elasticsearch_connector.html#quick-start