气流老兵请帮忙,
我正在寻找一个cron替代品,并遇到了apache气流 .
我们有一个设置,多个用户应该能够创建自己的DAG并安排他们的工作 .
我们的用户是可能不知道如何编写DAG python文件的人 . 此外,他们可能无法访问正在运行气流的服务器 .
是否可以通过UI创建气流DAG . 我找不到任何相同的参考 . 所有示例都讲述了如何创建python文件并将其上传到$ AIRFLOW_HOME / dag /目录 . 用户将无权访问此目录 .
例如,Rundeck允许用户通过UI添加工作流和任务依赖性 . 在airflow中是否有类似于此的插件/功能 .
PS:我非常喜欢气流显示依赖图并希望尝试它的方式 . 但是如果创建DAG是如此复杂,那么对于我的许多最终用户来说,这将是一个主要问题 .
2 回答
我不认为有开箱即用的解决方案 . 我将尝试的任务是组合:CWL(通用工作流语言),Airflow,Rabix Composer
所以,CWL只是一个规范,你用YAML语法描述你的工作流程 .
有一个包
pip3.6 install cwl-airflow-parser
它可以将CWL解析为Airflow DAG .Rabix Composer UI /图形CWL编辑器 .
有一个看起来很有趣的开源项目:
https://github.com/timkpaine/paperboy