为了从驻留在美国的BigQuery（BQ）表中移动数据，我想将表导出到美国的 Cloud 存储（GCS）存储桶，将其复制到EU存储桶，然后再从中导入它 .
问题是AVRO不支持 DATE 类型，但它对我们至关重要，因为我们使用的是不依赖于摄取时间的新partitioning feature，而是表格中的一列 .
AVRO文件包含 DATE 列为 STRING ，因此在尝试通过 bq load 加载文件时会引发 Field date has changed type from DATE to STRING 错误 .
有一个similar question，但它是关于时间戳 - 在我的情况下它绝对需要是 DATE ，因为日期不携带时区信息，时间戳总是由BQ解释为UTC .
它在使用 NEWLINE_DELIMITED_JSON 时有效，但是可以使用AVRO文件吗？
1 回答
正如@ElliottBrossard在评论中指出的那样，有一个public feature request关于这一点，可以注册白名单 .