首页 文章

Google Cloud Dataflow管道设置

提问于
浏览
1

我目前有一个管道设置和处理Streaming PubSub消息 . 由于这是一个Streaming管道,它将无限期地运行 . 我想知道两件事 .

  • 是否有任何情况下这种正在运行的管道可能会在没有用户干预的情况下自动停止?就像Pubsub在很长一段时间内用完消息一样......如果是这种情况,那么我可能需要对管道的生命周期进行一些监控 .

  • 我希望保持一个独特的管道 - 所以每次我想做出改变时,我想杀掉旧的,然后开始一个新的 . 我猜管道的名称是唯一标识它的,因此,当旧的同名程序正在运行时,我无法启动新的管道 . 但有没有办法可以杀死 - 启动具有相同名称的管道?

这两个问题都围绕着维护具有特定任务的管道 . 如果围绕最佳实践有任何资源,那么它也会有所帮助 .

1 回答

  • 1

    对于您的第一个问题,没有用于流管道的自动机制或TTL - 它们将一直运行,直到被用户取消 .

    对于管道维护,Dataflow具有"update"功能,可用于使用新代码更新管道(同名):https://cloud.google.com/dataflow/pipelines/updating-a-pipeline

相关问题