首页 文章

Airflow 1.9 - 任务卡在队列中

提问于
浏览
0

来自PyPy的最新Apache-Airflow安装(1.9.0)

Set up includes:

  • Apache-Airflow

  • Apache-Airflow [芹菜]

  • RabbitMQ 3.7.5

  • 芹菜4.1.1

  • Postgres

我安装了3台主机 .

Host #1

  • Airflow Webserver

  • 气流计划程序

  • RabbitMQ服务器

  • Postgres服务器

Host #2

  • 气流 Worker

Host #3

  • 气流 Worker

我有一个简单的DAG执行每1分钟运行一次的BashOperator任务 . 我可以看到调度程序“排队”该作业,然而,它会被添加到Celery / RabbitMQ队列并被工作人员接收 . 我有一个自定义RabbitMQ用户,身份验证似乎很好 . 但是,Flower不会显示任何填充数据的队列 . 它确实看到两个工作机器在各自的队列上进行侦听 .

Things I've checked:

  • 气流池配置

  • 气流环境变量

  • 升级/降级Celery和RabbitMQ

  • Postgres权限

  • RabbitMQ权限

  • DEBUG级别的气流日志

我阅读了有关未运行的作业的文档部分 . 我的“start_date”变量是一个存在于当前日期之前的静态日期 .

操作系统:Centos 7

1 回答

  • 0

    我能够弄清楚,但我不确定为什么这是答案 .

    更改“broker_url”变量以使用“pyamqp”而不是“amqp”是修复 .

相关问题