首页 文章

气流 - 如何将任务日志发送到弹性搜索?

提问于
浏览
5

我应该如何配置或从airflow 1.9发送任务日志到弹性搜索?我在当前的git存储库中找到了配置模板,但不确定是否可以在v 1.9中完成

1 回答

  • 1

    据我了解你的问题,你问是否可以简单地配置Airflow将其日志直接发送到Elastic .

    Reference

    这是 - 至少对于v.1.9.0 - 没有简单的配置问题 . 即使它在配置文件中说你可以将数据写入Elastic我也找不到

    1)一种设置适当的ElasticSearch连接的方法

    2)Airflow存储库中的任何代码,使用这些设置将日志推送到Web界面或ElasticSearch

    在我看来,这将是未来的新功能,供参考,请参阅:https://issues.apache.org/jira/browse/AIRFLOW-1454

    Conclusion

    因此,目前执行此操作的标准方法是将Airflow日志记录到特定文件夹,通常在_1546559中设置如下:

    base_log_folder = {AIRFLOW_HOME}/logs
    

    然后使用典型设置,例如FileBeat将这些日志(取决于您的设置)直接发送到Elastic或Logstash .

相关问题