在我的系统中,有许多传感器生成数据 . 我希望他们直接将生成的数据发送到Kafka,而不会干扰网络编程 .
据我所知,Kafka(Confluent版本)支持HTTP用于此类情况,但我的传感器不使用Http协议发送数据,并且它们有自己的协议 .
现在我的问题是:
-
Kafka收到(了解)哪个网络布局数据抽象?我的意思是它可以接收二进制(物理网络布局数据)或更高数据抽象布局的数据,如Datalink布局,网络布局,......
-
这是直接向Kafka发送数据的方式吗?
-
如果没有,是否可以自定义Kafka源代码以适应这种情况?
Generally ,是否可以使用UDP协议将数据从传感器发送到Kafka?
2 回答
您可以实现一个消耗您的格式的KafkaProducer,或者将您的格式转换为合适的文本格式并将其输入到Kafka的通用
kafka-console-producer.sh
中 .您可以在节点中使用桥接到Kafka,将这些消息转换为Kafka可以理解的内容(类似于信封) .
您可以在Github中找到此类软件的实现
https://github.com/agaoglu/udp-kafka-bridge
这个用于将系统日志消息发送到Kafka主题 .