首页 文章

使用Apache Kafka获取网站的日志并使用Spark Streaming处理它

提问于
浏览
-1

我是Apache Kafka的新手 . 我能够运行控制台 生产环境 者和消费者,但现在我想使用Apache Kafka和Spark Streaming处理我朋友网站的日志 . 首先我使用 - :bin / zookeeper-server-start.sh config / zookeeper.properties启动了zookeeper服务

之后我使用 - :bin / kafka-server-start.sh config / server.properties启动了代理

然后创建了一个主题 . 但之后我很困惑,在我的笔记本电脑或客户端上运行 生产环境 者(bin / kafka-console-producer.sh --broker-list localhost:9092 --topic test)命令的位置侧?请帮忙 .

1 回答

  • 0

    我怀疑,使用 kafka-consule-consumer.sh 是一个不错的选择...它仅用于开发期间的测试......

    但是,如果您有单个日志文件,则可以将日志文件通过管道传输到生成器中,如下所示:

    tail -n +1 -f webServer.log | bin/kafka-consule-consumer.sh --broker-list <broker>:9092 --topic test
    

    当然,您必须在Web服务器计算机上运行此命令 .

相关问题