首页 文章

Bigquery:将数据分区超过2000个限制

提问于
浏览
5

从分区表上的BigQuery页面:

每个表最多可包含2,000个分区 .

我们计划白天对数据进行分区 . 我们的大多数查询都是基于日期的,但我们有大约5年的历史数据,并计划从现在起每天收集更多 . 只有2000个分区:2000/365为我们提供了大约5.5年的数据 .

想要超过2000个分区的表的最佳实践是什么?

  • 每年创建一个不同的表并在需要时连接表?

  • 是否可以按周或月分区?

  • 如果你问支持,可以增加2000分区限制吗?

2 回答

  • 2

    我们正在执行2000分区限制(因此我们提前告知我们提前通知我们的用户) . 所以这是一个软限制 .

    创建大量分区会影响性能,因此我们建议将表限制为2000个分区 . 我们在这里有一些空间,具体取决于表的模式,因此如果可以增加,请求支持是合理的 . 我们将根据我们认为对该表的操作需要多少资源来审核它 .

    我们希望在未来的某个时刻支持更多的分区(高达10K),但我们正在努力完成必要的设计和实现更改(此时我们没有ETA) .

  • 5

    关于您的问题"Is it possible to partition by week or month instead?",有一个功能请求可以更灵活地分区类型:https://issuetracker.google.com/issues/35905817

    如果我们能够将INT作为一种分区,那么以YYYYMM的方式定义'月份分区'将很容易 .

相关问题