首页 文章

在Bigquery中查询外部表并且新数据到达时,没有架构自动检测

提问于
浏览
1

这是目前的情况:

我在BigQuery中针对 Cloud 存储中的json创建了一个外部表 .

我正在测试它对模式自动检测的工作原理 .

当我创建表时,有2个json文件具有不同的模式,Bigquery做得很好 .

当我使用新架构加载新文件(向记录字段添加新属性)时,Bigquery会识别新记录,但不会显示此新字段 . 因此架构自动检测不能像我预期的那样工作 .

当新文件到达我的 Cloud 存储文件夹时,如何才能获得架构自动检测?

有帮助吗?

1 回答

  • 1

    罪魁祸首:AFAIK自动架构检测在您创建表时发生,并且在您添加新文件时未更新 .

    可能的方法:

    • 新文件到达时重新创建表 .

    直截了当的实施:

    • 在GCS上为新到达的文件添加发布/订阅通知,使用Google Cloud功能重新创建表触发器 .

相关问题