在我的项目中，我们总共有11个WSMQ作为Flume代理的来源 . Kafka主题作为 Channels ，Kafka主题在消息类型上进行分区 . HDFS作为接收器 .
要求：我们希望使用flume-agent从多个队列中读取并写入kafka主题的特定分区，以便在以后的时间点，我们可以从这些kafka分区读取数据 .
现在，我们在代理编写消息的每个队列中总共有11个kafka主题 . 我们希望有一个Kafka主题，它在msg类型上进行分区，并且可以将传入的msgs写入这些分区 .
任何人都可以建议，这个用例的最佳方法是什么？
谢谢！
1 回答
我们通过Spark流解决了它 .