如何优雅地关闭Airflow？-Java 学习之路

我们在AWS ECS上运行Airflow，并将所有DAG捆绑在Docker镜像中 . 我们不时更新DAGS，并部署新版本的Docker Image . 当我们这样做时，ECS将杀死正在运行的Airflow网络服务器/调度程序/工作人员，并开始新的工作 . 我们遇到了一些问题，即部署之前启动的某些DAG在部署后仍然标记为“正在运行”，即使它们的任务已被部署杀死，并且一些externalSensor任务仍处于挂起状态 .

有没有办法优雅地关闭Airflow？理想情况下，它可以将所有正在运行的任务标记为up_for_retry，并在部署完成后重新运行它们？

1 回答

docker stop <container-id/name>

这确实使芹菜 Worker 热情停工

worker_1  | worker: Warm shutdown (MainProcess)
worker_1  |
worker_1  |  -------------- celery@155afae87458 v4.1.1 (latentcall)
worker_1  | ---- **** -----
worker_1  | --- * ***  * -- Linux-4.9.93-linuxkit-aufs-x86_64-with-debian-9.5 2018-10-18 16:52:08
worker_1  | -- * - **** ---
worker_1  | - ** ---------- [config]
.......

回复于 2024-05-04T09:30:54+08:00

如何优雅地关闭Airflow？

1 回答

相关问题