我已经使用BigQuery大约2个月了 . 在那段时间里,我使用流式插入每分钟添加数千个条目 . 我已经能够在几分钟内查询该数据,如果不是立即实现的话 .
几天前开始,我的一张 table 突然开始显示数据可用性延迟,从20到60分钟不等 . 这只发生在我的一个表中 . 插入其他表格的数据几乎可以立即获得 .
Is this kind of data availability delay normal for BigQuery?
遇到此问题的表是 accuAudience.trackPlays
. 我很乐意向Google团队成员提供项目ID和其他信息 .
流式插入到有问题的表中的结果是:
{'kind':'bigquery#tableDataInsertAllResponse'}
来自有问题的表的示例查询, accuAudience.trackPlays
(按日期desc排序):
ROW DATE COUNT 1 2015-03-30 12:35:32 UTC 67 2 2015-03-30 12:35:31 UTC 65 3 2015-03-30 12:35:30 UTC 56 4 2015-03-30 12 :35:29 UTC 45 5 2015-03-30 12:35:28 UTC 60
相同的查询在几秒钟之后发送到不同的表( accuAudience.trackSkips
) . 请注意,日期字段比先前的查询提前30分钟 .
ROW DATE COUNT 1 2015-03-30 13:04:03 UTC 1 2 2015-03-30 13:04:02 UTC 1 3 2015-03-30 13:04:01 UTC 3 4 2015-03-30 13 :04:00 UTC 3 5 2015-03-30 13:03:59 UTC 6
如果还需要其他信息,请告诉我!
1 回答
BigQuery定期运行后台维护任务以优化您的表以进行查询 . 其中一个后台任务导致了流媒体流程的打嗝 . 这导致我们在刷新之前无法从流缓冲区读取 . 请注意,当您不断向表格流式传输时,您可能已经将此视为一个持续存在的问题 .
它现在已修复 . 如果您继续看到问题,请告诉我们您遇到问题的表和项目 .