我正在尝试使用Kafka Streams来实现用例 . 我在MySQL中有两个表 - 用户和帐户 . 我正在使用Kafka MySQL连接器从MySQL获取事件到Kafka .
我需要从Kafka本身获取帐户中的所有用户ID . 所以我打算在MySQL输出主题上使用 KStream ，处理它以形成输出并将其发布到一个主题，其中Key作为account-id，值作为userIds用逗号（，）分隔 . 然后我可以使用 interactive query 使用帐户ID获取所有userIds，使用 ReadOnlyKeyValueStore 类的 get() 方法 . 这是正确的方法吗？有没有更好的办法？可以在这里使用KSQL吗？
2 回答
您可以使用Kafka Connect从MySQL流式传输数据，例如：使用Debezium . 从这里你可以使用KStreams或KSQL来转换数据，包括重新键入我认为你在这里要做的事情，以及将它加入其他流 . 如果您将MySQL中的数据提取到具有日志压缩集的主题中，那么您可以保证始终拥有主题中每个键的最新值 .
如果你想在一个UI中对流数据进行内置的CDC和交互式连续SQL查询，我会看一下striim . 更多信息：
http://www.striim.com/blog/2017/08/making-apache-kafka-processing-preparation-kafka/