我的目标是允许用户将相对较大的数据集导入MongoDB（托管在mongo Cloud 上） . Api服务器托管在容器引擎中，它没有任何其他具有如此大负载的操作（只有简单的CRUD操作） .
用户将.csv文件（最多100mb）上传到GCP Bucket，从那里我需要验证并将csv文件中的每一行插入MongoDB，然后根据导入的数据进行一些计算 . 这是否适合GCP Cloud 功能？我有点担心540秒的执行持续时间限制 .
这似乎是Apache Beam / Dataflow的一个很好的用例 . 使用Beam 2.2，您可以编写一个流式传输管道，使用 TextIO.read().from(...).watchForNewFiles(...) 连续摄取存储桶中的新文件 - 请参阅javadoc .
TextIO.read().from(...).watchForNewFiles(...)
1 回答
这似乎是Apache Beam / Dataflow的一个很好的用例 . 使用Beam 2.2，您可以编写一个流式传输管道，使用
TextIO.read().from(...).watchForNewFiles(...)连续摄取存储桶中的新文件 - 请参阅javadoc .