首页 文章

使用AVRO格式的BiqQuery流插入

提问于
浏览
2

有没有办法使用流式插入将AVRO格式的数据插入BigQuery?如果是,我们正在使用google-cloud-python,似乎不支持 . 只有支持的类型是json . 我错过了什么吗?

有关BQ流式插入的文档似乎不包括数据类型 . 我只能找到here提到的AVRO数据格式,但不能在流式插入的上下文中找到 .

有没有办法使用流媒体插入以AVRO格式插入数据,你能否请我链接到任何一个例子?如果无法使用流媒体插入插入AVRO数据,那么使用AVRO将大量数据插入BQ的推荐方法是什么?我们的使用要求超过了每个工作日每天1000个作业的装载作业限制 .

1 回答

  • 1

    不,目前JSON是bigquery流API唯一受支持的格式 . 正如您所提到的,BigQuery支持AVRO作为加载作业输入 .

相关问题