我正在使用Java Apache Beam SDK for Java 2.0.1-SNAPSHOT
Scenario:
从BigQuery（BQ）读取数据 - >数据流中的ETL过程 - >在BQ表中写入数据
问题是管道正在尝试在BQ中执行插入之前处理所有数据 .
Is there a way to execute stream inserts in this case? 我已经尝试在从BQ中提取时为元素设置时间戳，但它不起作用 .
Or is it possible to set the BatchLoads so that it inserts bulks of data time to time?
1 回答
我想看看this link to Googles Solution . 话虽这么说，BigQuery听起来像被视为有限的源，但这不应该是将数据丢回数据流的问题，请参阅here .