我应该如何配置或从airflow 1.9发送任务日志到弹性搜索?我在当前的git存储库中找到了配置模板,但不确定是否可以在v 1.9中完成
据我了解你的问题,你问是否可以简单地配置Airflow将其日志直接发送到Elastic .
Reference
这是 - 至少对于v.1.9.0 - 没有简单的配置问题 . 即使它在配置文件中说你可以将数据写入Elastic我也找不到
1)一种设置适当的ElasticSearch连接的方法
2)Airflow存储库中的任何代码,使用这些设置将日志推送到Web界面或ElasticSearch
在我看来,这将是未来的新功能,供参考,请参阅:https://issues.apache.org/jira/browse/AIRFLOW-1454
Conclusion
因此,目前执行此操作的标准方法是将Airflow日志记录到特定文件夹,通常在_1546559中设置如下:
base_log_folder = {AIRFLOW_HOME}/logs
然后使用典型设置,例如FileBeat将这些日志(取决于您的设置)直接发送到Elastic或Logstash .
1 回答
据我了解你的问题,你问是否可以简单地配置Airflow将其日志直接发送到Elastic .
Reference
这是 - 至少对于v.1.9.0 - 没有简单的配置问题 . 即使它在配置文件中说你可以将数据写入Elastic我也找不到
1)一种设置适当的ElasticSearch连接的方法
2)Airflow存储库中的任何代码,使用这些设置将日志推送到Web界面或ElasticSearch
在我看来,这将是未来的新功能,供参考,请参阅:https://issues.apache.org/jira/browse/AIRFLOW-1454
Conclusion
因此,目前执行此操作的标准方法是将Airflow日志记录到特定文件夹,通常在_1546559中设置如下:
然后使用典型设置,例如FileBeat将这些日志(取决于您的设置)直接发送到Elastic或Logstash .