首页 文章

安排Google Cloud Dataflow作业的最简便方法

提问于
浏览
6

我只需要每天运行一个数据流管道,但在我看来,建议像App Engine Cron Service这样需要构建整个Web应用程序的解决方案似乎有点太多了 . 我正在考虑从Compute Engine Linux VM中的cron作业运行管道,但这可能太简单了:) . 这样做的问题是什么,为什么不是任何人(除了我,我猜)建议它?

1 回答

  • 3

    使用cron作业启动Dataflow管道绝对没有错 . 我们一直为我们的 生产环境 系统做这件事,无论是我们的Java还是Python开发的管道 .

    然而,我们正试图摆脱cron工作,并更多地使用AWS Lambdas(我们运行多 Cloud )或 Cloud 功能 . 不幸的是, Cloud 功能don't have scheduling yet . AWS Lambdas do .

相关问题