我试图了解如何从包含多天数据的csv文件加载日期分区表 . 我想我正在寻找一个类似的功能关系数据库提供与它们在特定列上的分区，它负责自动将记录加载到正确的分区 .
似乎使用bigquery动态分配分区的唯一方法是使用分区装饰器，这需要我从CSV顺序加载每个记录（因为每一行的日期可能不同）或首先写一个etl来分割csv按天分隔文件 .
我在这里错过了什么吗？
目前，BigQuery不支持在特定列上进行分区，但这是一个高度请求的功能vote here和here .
正如您所说，在分区中加载数据的唯一方法是使用分区装饰器 . 为此，您可以将CSV外部处理为几天，并使用每个分区的单独加载作业将每天加载到其自己的分区中 .
或者您加载未分区的完整CSV，然后稍后通过单个查询创建分区脚本 - >将结果写入专用分区，如in details here所述 .
现在，Google已经为Partition by field引入了一项功能 . 您可以使用任何日期或日期时间类型字段进行分区
2 回答
目前，BigQuery不支持在特定列上进行分区，但这是一个高度请求的功能vote here和here .
正如您所说，在分区中加载数据的唯一方法是使用分区装饰器 . 为此，您可以将CSV外部处理为几天，并使用每个分区的单独加载作业将每天加载到其自己的分区中 .
或者您加载未分区的完整CSV，然后稍后通过单个查询创建分区脚本 - >将结果写入专用分区，如in details here所述 .
现在，Google已经为Partition by field引入了一项功能 . 您可以使用任何日期或日期时间类型字段进行分区