使用apache beam python sdk使用PubSub读取和编写transoforms的示例

提问于 2024-04-29T17:44:14+08:00

浏览次

0

我在这里看到了例如https://cloud.google.com/dataflow/model/pubsub-io#reading-with-pubsubio的Java示例，但是当我看到这里https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/pubsub.py时，它说：

def reader(self):
    raise NotImplementedError(
        'PubSubSource is not supported in local execution.')

那是什么意思？ Cloud 数据流Python SDK PubSub Source / Sink还没准备好？

2 回答

1

这意味着当地（在您的机器上，即不在 Cloud 端）执行管道时，目前不支持从PubSub读取 . 本地执行主要用于测试 .

使用Dataflow运行程序运行时支持PubSub .

回复于 2024-04-29T17:44:14+08:00
0

它似乎尚未准备就绪，因为我能够使用Java SDK在本地运行它并使用pubsub模拟器，但正如您所遇到的那样，而不是使用Python SDK .

回复于 2024-04-29T17:44:14+08:00

相关问题