首页 文章

从pub / sub流入大查询python时出错

提问于
浏览
0

我通过插入以下两个来创建将pub / sub源连接到大型查询接收器的dataflowRunner作业时遇到问题:

apache_beam.io.gcp.pubsub.PubSubSource
apache_beam.io.gcp.bigquery.BigQuerySink

分别在github上的beam / sdks / python / apache_beam / examples / streaming_wordcount.py(https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/streaming_wordcount.py)示例中的第59行和第74行 . 删除第61-70行并指定正确的pub / sub和bigquery参数后,脚本在没有构建管道的情况下运行时没有错误 .

旁注:脚本提到流管道支持不能在Python中使用 . 但是,在梁文档中,它提到apache_beam.io.gcp.pubsub.PubSubSource仅适用于流式传输("apache_beam.io.gcp.pubsub module" Headers 下的第一句话:https://beam.apache.org/documentation/sdks/pydoc/2.0.0/apache_beam.io.gcp.html#module-apache_beam.io.gcp.pubsub

1 回答

相关问题