首页 文章

气流DAG调度日期和时间

提问于
浏览
1

我们一直在将我们的cron工作转换为Airflow DAG,我很难确定DAG的调度在Airflow中是如何工作的 . 一些DAG需要在一天中的特定时间(即早上7点)运行,其他DAG需要在该月的特定日期/时间(即每月15日上午6点)运行 .

通常,Airflow似乎正常运行每日DAG . 因此, schedule_interval = '0 7 * * *'start_date': datetime(2017,4,7) 每天早上7点运行 .

但是,对于每月的DAG( schedule_interval = '0 6 15 * *''start_date': datetime(2017,4,7) ),它在4月15日早上6点运行,但从那时起没有运行't hasn't . 我试图按月安排的其他DAG同样在第一个月后无法运行 .

关于日程安排的Airflow的文件,IMO,泥泞和其他SO问题的答案让我更加困惑 . 我希望那里的某个人可以澄清我的理解和我试图每月安排的DAG出了什么问题 .

1 回答

  • 4

    Airflow每月运行计划与其每日计划一致,令人困惑 . 因此,每月DAG的运行时间比您预期的要晚一个月 . 例如,如果我安排DAG在午夜的第一个月运行(例如0 0 1 * *),则执行execute_date 2018-04-01将在2018-05-01午夜之后实际运行 . 这是因为Airflow等待执行期间在运行之前完成 . 我认为这个想法是2018-04-01的每月执行代表整个2018-04-01到2018-05-01期间的数据 .

    您需要在考虑这一概念的情况下重新调整您的日程安排 .

相关问题