首页 文章

通过Cloud Dataflow API提交

提问于
浏览
0

我正在尝试查找API文档(不是Java SDK API,而是HTTP API与数据流服务本身进行通信),但似乎无法找到它 . 我正在尝试使用不同的参数为同一个应用程序(jar文件)提交作业,并且不希望每次运行应用程序来构建图表并提交自己 . (提交环境可能不支持Java . )

问题:

1)API文档在哪里,以便我可以构建自己的请求? (有api explorer,但没有其余的那就没用 . )

2)有没有办法从 DataFlowPipelineRunner 转储请求,以便我可以使用它作为提交我自己的请求的基础 .

2 回答

  • 1

    您可以create your Pipeline as a template,并使用Dataflow API客户端库发出HTTP POST请求来执行作业 .

    从这里开始了解更多相关信息:Using Templates Overview

  • 2

    不使用Dataflow SDK将作业提交到Dataflow服务不受官方支持,因此没有任何API文档 .

    如果要尝试捕获输出以便修改并重新提交作业,则请求为here . newJob变量是一个解析的JSON对象,您可以将其输出到JSON文件,然后在以后的过程中进行解析和修改

    这个功能绝对是我们有兴趣以易于使用的方式支持的功能;您可以查看几周前发出的API提案,并在此处跟踪进度:https://issues.apache.org/jira/browse/BEAM-551

相关问题