来自PyPy的最新Apache-Airflow安装(1.9.0)
Set up includes:
-
Apache-Airflow
-
Apache-Airflow [芹菜]
-
RabbitMQ 3.7.5
-
芹菜4.1.1
-
Postgres
我安装了3台主机 .
Host #1
-
Airflow Webserver
-
气流计划程序
-
RabbitMQ服务器
-
Postgres服务器
Host #2
- 气流 Worker
Host #3
- 气流 Worker
我有一个简单的DAG执行每1分钟运行一次的BashOperator任务 . 我可以看到调度程序“排队”该作业,然而,它会被添加到Celery / RabbitMQ队列并被工作人员接收 . 我有一个自定义RabbitMQ用户,身份验证似乎很好 . 但是,Flower不会显示任何填充数据的队列 . 它确实看到两个工作机器在各自的队列上进行侦听 .
Things I've checked:
-
气流池配置
-
气流环境变量
-
升级/降级Celery和RabbitMQ
-
Postgres权限
-
RabbitMQ权限
-
DEBUG级别的气流日志
我阅读了有关未运行的作业的文档部分 . 我的“start_date”变量是一个存在于当前日期之前的静态日期 .
操作系统:Centos 7
1 回答
我能够弄清楚,但我不确定为什么这是答案 .
更改“broker_url”变量以使用“pyamqp”而不是“amqp”是修复 .