我指的是一个类似的帖子,我发现它非常有用 . 它显示了我们如何将avro文件中的整数列加载到包含时间戳字段的BigQuery表 . Compatibility of Avro dates and times with BigQuery?
我有一个类似的问题 . 有没有办法将avro文件中的整数值加载到bigquery中的日期列?
由于avro不支持date数据类型,我尝试将日期保留为avro中的字符串字段,并尝试将其加载到BigQuery中的日期字段中 . 但这不起作用 .
如果我知道BigQuery如何在内部存储日期,我可以尝试将我的日期转换为该值,然后将其加载到BQ .
有什么建议我怎么做到这一点?
1 回答
无法直接从Bigro中将整数列加载到BigQuery的
DATE
列中 . 您可以将Avro文件加载到具有整数列的中间表中,然后运行SQL查询,使用DATE_FROM_UNIX_DATE
函数将该整数转换为DATE
(https://cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators#date_from_unix_date)