是否可以在从Apache Beam管道将数据加载到BigQuery表中时从BigQuery表中删除数据 .
我们的用例是这样的，我们需要根据时间戳字段（Dataflow从Pubsub主题中提取消息的时间）从表中删除3天的先前数据 .
建议做这样的事吗？如果是的话，有没有办法实现这个目标？
谢谢 .
我认为这样设置的最佳方式是将表设置为分区（基于摄取时间）表https://cloud.google.com/bigquery/docs/partitioned-tables并且可以手动删除旧分区
bq rm 'mydataset.mytable$20160301'
您还可以设置到期时间
bq update --time_partitioning_expiration [INTEGER] [PROJECT_ID]:[DATASET].[TABLE]
如果摄取时间对您不起作用，您可以查看https://cloud.google.com/bigquery/docs/creating-column-partitions - 但它处于测试阶段 - 可靠地工作，但这是您的通话
1 回答
我认为这样设置的最佳方式是将表设置为分区（基于摄取时间）表https://cloud.google.com/bigquery/docs/partitioned-tables并且可以手动删除旧分区
您还可以设置到期时间
如果摄取时间对您不起作用，您可以查看https://cloud.google.com/bigquery/docs/creating-column-partitions - 但它处于测试阶段 - 可靠地工作，但这是您的通话