首页 文章

BigQuery流插入数据可用性延迟

提问于
浏览
4

我已经使用BigQuery大约2个月了 . 在那段时间里,我使用流式插入每分钟添加数千个条目 . 我已经能够在几分钟内查询该数据,如果不是立即实现的话 .

几天前开始,我的一张 table 突然开始显示数据可用性延迟,从20到60分钟不等 . 这只发生在我的一个表中 . 插入其他表格的数据几乎可以立即获得 .

Is this kind of data availability delay normal for BigQuery?

遇到此问题的表是 accuAudience.trackPlays . 我很乐意向Google团队成员提供项目ID和其他信息 .

流式插入到有问题的表中的结果是:

{'kind':'bigquery#tableDataInsertAllResponse'}

来自有问题的表的示例查询, accuAudience.trackPlays (按日期desc排序):

ROW DATE COUNT 1 2015-03-30 12:35:32 UTC 67 2 2015-03-30 12:35:31 UTC 65 3 2015-03-30 12:35:30 UTC 56 4 2015-03-30 12 :35:29 UTC 45 5 2015-03-30 12:35:28 UTC 60

相同的查询在几秒钟之后发送到不同的表( accuAudience.trackSkips ) . 请注意,日期字段比先前的查询提前30分钟 .

ROW DATE COUNT 1 2015-03-30 13:04:03 UTC 1 2 2015-03-30 13:04:02 UTC 1 3 2015-03-30 13:04:01 UTC 3 4 2015-03-30 13 :04:00 UTC 3 5 2015-03-30 13:03:59 UTC 6

如果还需要其他信息,请告诉我!

1 回答

  • 4

    BigQuery定期运行后台维护任务以优化您的表以进行查询 . 其中一个后台任务导致了流媒体流程的打嗝 . 这导致我们在刷新之前无法从流缓冲区读取 . 请注意,当您不断向表格流式传输时,您可能已经将此视为一个持续存在的问题 .

    它现在已修复 . 如果您继续看到问题,请告诉我们您遇到问题的表和项目 .

相关问题