-
3 votesanswersviews
Airflow服务器未运行作业
我的气流服务器设置没有运行任务，甚至没有示例dags . 每当我进行手动运行时，都会创建一个运行状态的 DagRun 对象，但它始终保持不变 . 这个问题与所有的笨蛋有关，而不仅仅是一个特定的dag . 每当我触发dag时，我都能看到它出现在调度程序日志中，但芹菜日志中没有任何内容 . 我能够使用 airflow test 命令在dag中运行任务，它是 airflow trigger 或者手动触发... -
15 votesanswersviews
Airflow 1.9.0排队但没有启动任务
气流随机不运行排队任务一些任务甚至没有排队状态 . 我在调度程序日志中一直看到以下内容 [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution. 我确实看到数据库中的任务没有状态或排队状态，但它们永远不会开始 . 气流设置在带有Redis的ECS上运行https://github.com... -
1 votesanswersviews
如果没有任何任务失败，Airflow DAG如何失败？
我们有一个很长的dag（约60个任务），我们经常看到这个dag的dagrun处于 failed 状态 . 在查看DAG中的任务时，它们都处于 success 或 null 状态（即，甚至尚未排队） . 似乎dag已经过早地进入了状态 . 在什么情况下会发生这种情况，人们应该做些什么来防范呢？ 如果's helpful for context we'使用Celery执行程序重新运行Airflow并且... -
1 votesanswersviews
Airflow Celery和Redis作业处于等待状态
我正在尝试使用带有redis作为经纪人的芹菜来运行气流，但是工作正在陷入等待状态 . Airflow在本地运行，我使用示例DAG进行测试 . executor = CeleryExecutor sql_alchemy_conn = mysql://root@localhost/airflow sql_alchemy_pool_size = 5 [celery] # This sec... -
6 votesanswersviews
气流：网络服务器找不到新的DAG
在Airflow中，我该如何处理错误“此DAG在Web服务器DagBag对象中不可用 . 它显示在此列表中，因为调度程序在元数据库中将其标记为活动”？ 我已经将新的DAG复制到Airflow服务器，并尝试过： 取消暂停并刷新它（基本操作程序，在上一个答案中给出https://stackoverflow.com/a/42291683/160406） 重新启动网络服务器 重新启动调度程序 ... -
1 votesanswersviews
气流DAG调度日期和时间
我们一直在将我们的cron工作转换为Airflow DAG，我很难确定DAG的调度在Airflow中是如何工作的 . 一些DAG需要在一天中的特定时间（即早上7点）运行，其他DAG需要在该月的特定日期/时间（即每月15日上午6点）运行 . 通常，Airflow似乎正常运行每日DAG . 因此， schedule_interval = '0 7 * * * 与 'start_date': datet... -
0 votesanswersviews
气流DAG未按计划进行
我是Airflow的新手并创建了我的第一个DAG . 这是我的DAG代码 . 我希望DAG现在开始，然后一天运行一次 . from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta default_args = {... -
0 votesanswersviews
气流DAG可防止其他DAGS启动
我们正在运行Airflow v1.9.0并且遇到一个DAG问题 . 这个SSHOperator运算符DAG（称为匹配）从0 6 * * *开始，通常在一小时内完成 . 每月一次，我们有大量数据提取，导致此任务需要7个小时 . 不幸的是，当发生这种情况时，DAG会阻止我们的其他DAGS启动直到完成 . 它是这7小时内唯一运行的DAG . 这不是正常行为或我们的其他DAGS（它们继续运行，其他DAGS... -
1 votesanswersviews
气流：通过UI在气流中创建DAG
气流老兵请帮忙， 我正在寻找一个cron替代品，并遇到了apache气流 . 我们有一个设置，多个用户应该能够创建自己的DAG并安排他们的工作 . 我们的用户是可能不知道如何编写DAG python文件的人 . 此外，他们可能无法访问正在运行气流的服务器 . 是否可以通过UI创建气流DAG . 我找不到任何相同的参考 . 所有示例都讲述了如何创建python文件并将其上传到$ AIRFLOW_HO... -
0 votesanswersviews
Airflow如何连接到Spark，是否可以在Airflow中为用户设置不同的访问权限？
嗨，我还是Airflow的新手 . 我想知道Airflow如何连接到Spark？我有一个服务器，它具有不同的帐户（或配置文件）来访问Spark群集 . 我想知道Airflow是否有固定的轮廓来连接火花？或者它遵循用户配置文件？ 此外，是否可以在Airflow中为用户设置不同的访问权限？例如，有权访问Spark（或hdfs）中的位置A的用户A只能运行与位置A相关的任务 . （因此无法从位置B运行任何... -
3 votesanswersviews
气流 Worker 配置
我是Airflow的新手 . 我正在尝试使用Celery Executor设置分布式气流模式参考文章https://stlong0521.github.io/20161023%20-%20Airflow.html 在详细了解规范之前，我想确认 I've installed PostgreSQL on a seperate instance . 设置规范详述如下： Airflow core/ser... -
4 votesanswersviews
Airflow S3KeySensor - 如何让它继续运行
在this Stackoverflow post的帮助下，我刚刚制作了一个程序（帖子中显示的程序），当一个文件放在S3存储桶中时，我的一个正在运行的DAG中的任务被触发，然后我使用BashOperator执行一些工作 . 一旦它始终在运行，并且只要在S3存储桶中放置新文件，程序就会启动任务.'s done though the DAG is no longer in a running state... -
6 votesanswersviews
DAG无法在Google Cloud Composer网络服务器上点击，但在本地Airflow上正常运行
我正在使用图像版本 composer-0.5.3-airflow-1.9.0 和Python 2.7的Google Cloud Composer（在Google Cloud 平台上管理Airflow），我面临一个奇怪的问题：导入我的DAG后，它们是来自Web UI的 not clickable （并且没有按钮"Trigger DAG"， "Graph view&quo... -
1 votesanswersviews
气流1.10安装失败
我有一个使用Airflow版本1.9的Airflow环境，该环境在Amazon EC2实例上运行 . 我需要升级到Airflow的最新版本1.10 . 我可以选择从1.9版升级或在新服务器上新安装1.10 . 气流版本1.10未在Pip上列出，所以我通过此命令从Git安装它， pip-3.6 install git+git://github.com/apache/incubator-airflow... -
0 votesanswersviews
气流心跳致命：抱歉，已有太多客户
在运行子标记时，是否有人在心跳阶段遇到“抱歉，已经有太多客户端”错误？ [2017-11-22 08：21：23,747] 错误 - 尝试心跳时出现异常！睡觉5.0秒追溯（最近一次调用最后一次）：文件“/usr/local/lib/python2.7/site-packages/airflow/jobs.py”，第2131行，在_execute self.heartbeat（）文件中“/ usr...