我正在对BigQuery进行评估,并尝试使用该表中的新列更新Avro表,但它似乎不起作用 . 这是我在做的事情:
1)将数据上传到GCS
$ gsutil cp book.avro gs://analytics-145623.appspot.com/bob/v1/book.avro
$ gsutil cp book2.avro gs://analytics-145623.appspot.com/bob/v2/book2.avro
book.avro有3条记录,每条记录有3个字段
book2.avro有3条记录,每条记录有4个字段
2)创建表
$ bq mk analytics.bob_test01
3)创建表的第一个版本,工作正常
$ bq load --source_format=AVRO analytics.bob_test01 \
gs://analytics-145623.appspot.com/bob/v1/book.avro
4)创建表的第二个版本
$ bq load --source_format=AVRO --schema_update_option=ALLOW_FIELD_ADDITION analytics.bob_test01 gs://analytics-145623.appspot.com/bob/v2/book2.avro
新数据将附加到表中,但新列不在表中 . 如果返回UI并手动添加列并重新运行加载,则数据将按预期显示,但这不是我想要的 . 我想要通常的架构演变 .
我错过了什么吗?