我正在研究Google Cloud，它非常吸引人，特别适用于数据密集型应用程序 . 我正在研究Pub / Sub Dataflow，我正在尝试找出重放通过Pub / Sub发送的事件的最佳方法，以防处理逻辑发生变化 .
据我所知，发布/订阅保留的上限为7天，每个订阅，主题本身不保留数据 . 在我看来，它将允许禁用日志压缩，就像在Kafka中一样，所以我可以从一开始就重放数据 .
现在，既然数据流承诺您可以在批处理和流模式下运行相同的作业，那么通过将所有事件转储到Google存储并从那里回复来模拟这种期望的行为会有多大效果？
我也对任何其他想法持开放态度 .
谢谢
1 回答
正如您所说，Cloud Pub / Sub目前不支持重放，因此您需要将事件保存在某个地方以便稍后重播，而Cloud Storage听起来像是一个很好的地方 .