-
0 votesanswersviews
airflow 1.10.0 branchpythonoperator运行失败：Celery命令失败
我将airflow dag示例 example_branch_dop_operator_v3 代码复制到我自己的dag test1_v2，我可以成功运行example_branch_dop_operator_v3，但运行test1_v2失败了 . dag test1_v2代码（AIRFLOW_HOME / dags / test1.py）： import airflow from airflow... -
0 votesanswersviews
气流插件，RBAC启用蓝图无法正常工作
我们有基于此link的Airflow自定义UI，它与Airflow 1.9.0一起运行良好 . 在此之后，我们升级到1.10.1并启用了RBAC . 我们的自定义UI在此之后停止了 . 我们按照这个解释note-on-role-based-views并尝试将旧的UI模板与appbuilder_views一起使用 . 在使用/tests/plugins/test_plugin.py中的TestApp... -
0 votesanswersviews
Airflow插件模型视图未安全
如何保护从未经身份验证的用户通过插件系统添加的Airflow自定义 model 视图？我目前正在使用密码保护，但我的插件添加的页面无需登录即可访问... -
2 votesanswersviews
气流回填不起作用
我正在使用气流运行工作流程DAG . 我设置的开始日期是5/26/2014，schedule_interval是没有结束日期的1天，它使用的是Celery执行程序 . Airflow从给定日期开始运行我的任务，并按预期从开始日期开始每天递增 . 但问题是，它将从开始日期开始计划并运行dag仅16天，然后停止 . 我必须重新启动调度程序服务，以便安排下一组dag并运行 . 我修改了下面的属性，在a... -
3 votesanswersviews
气流：排队但未运行的任务
我是气流新手并试图设置气流来运行ETL管道 . 我能够安装 气流 postgres 芹菜 rabbitmq 我能够测试运行turtorial dag . 当我尝试安排作业时，调度程序能够获取它并将我可以在UI上看到的作业排队，但任务没有运行 . 有人可以帮我解决这个问题吗？我相信我在这里缺少最基本的气流概念 . 下面是airflow.cfg 这是我的配置文件： [core] ... -
3 votesanswersviews
Airflow服务器未运行作业
我的气流服务器设置没有运行任务，甚至没有示例dags . 每当我进行手动运行时，都会创建一个运行状态的 DagRun 对象，但它始终保持不变 . 这个问题与所有的笨蛋有关，而不仅仅是一个特定的dag . 每当我触发dag时，我都能看到它出现在调度程序日志中，但芹菜日志中没有任何内容 . 我能够使用 airflow test 命令在dag中运行任务，它是 airflow trigger 或者手动触发... -
7 votesanswersviews
apache-airflow 1.9默认时区设置为非utc
我最近将气流版本从气流1.8升级到apache-airflow 1.9，升级成功了，我使用Celery Executor扩展了环境，一切似乎工作正常但是dag和任务开始日期，执行日期等都出现在UTC时区和计划的dags以UTC格式运行，在升级之前，它们曾经在本地时区（pdt）中运行 . 有关如何将pdt作为气流中的默认时区的任何想法？ 我已尝试在 airflow.cfg 中使用 default_t... -
2 votesanswersviews
在Airflow任务之间共享大的中间状态
我们与Celery执行程序部署了Airflow . 我们的许多DAG都需要 BashOperator 或 PythonOperator 中某个文件的本地处理步骤 . 但是，根据我们的理解，给定DAG的任务可能并不总是安排在同一台机器上 . 到目前为止我收集的任务之间的状态共享选项： Use Local Executors - 对于一支球队来说这可能就足够了，具体取决于负荷，但可能无法扩展到... -
15 votesanswersviews
Airflow 1.9.0排队但没有启动任务
气流随机不运行排队任务一些任务甚至没有排队状态 . 我在调度程序日志中一直看到以下内容 [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution. 我确实看到数据库中的任务没有状态或排队状态，但它们永远不会开始 . 气流设置在带有Redis的ECS上运行https://github.com... -
0 votesanswersviews
气流：当从web-ui触发dags失败并尝试0次时
我有一个气流dag，有一个bash操作符，什么都不做 dag = DAG( "test", default_args={ "owner": "...", "start_date": datetime.combine(datetime.today() - timedelta... -
2 votesanswersviews
如何在气流变量上强制使用jinja模板？
airflow docs说： You can use Jinja templating with every parameter that is marked as “templated” in the documentation . 有意义的是，气流世界中的特定参数（例如 PythonOperator 中的某些参数）会自动通过气流进行模拟 . 我想知道最好/正确的方法是获得一个非气流变量来模板... -
1 votesanswersviews
如果没有任何任务失败，Airflow DAG如何失败？
我们有一个很长的dag（约60个任务），我们经常看到这个dag的dagrun处于 failed 状态 . 在查看DAG中的任务时，它们都处于 success 或 null 状态（即，甚至尚未排队） . 似乎dag已经过早地进入了状态 . 在什么情况下会发生这种情况，人们应该做些什么来防范呢？ 如果's helpful for context we'使用Celery执行程序重新运行Airflow并且... -
1 votesanswersviews
Airflow Celery和Redis作业处于等待状态
我正在尝试使用带有redis作为经纪人的芹菜来运行气流，但是工作正在陷入等待状态 . Airflow在本地运行，我使用示例DAG进行测试 . executor = CeleryExecutor sql_alchemy_conn = mysql://root@localhost/airflow sql_alchemy_pool_size = 5 [celery] # This sec... -
3 votesanswersviews
如何隐藏/屏蔽气流连接和变量部分的敏感数据？
我们在apache气流中有许多AWS连接字符串，任何人都可以在气流网络服务器连接部分看到我们的访问密钥和密钥 . 如何隐藏或屏蔽气流网络服务器中的敏感数据？ 我们已经在气流配置中启用了身份验证，因此不允许未经授权的用户 . 但我不想在网页视图中显示我的密钥 . -
1 votesanswersviews
Spring Cloud DataFlow - 在运行任务后获取执行ID
目前我正在从Spring XD作为我的工作流和运行时环境迁移到Spring Cloud DataFlow和Apache Airflow . 我想在Airflow中创建工作流，并使用自定义Airflow运算符通过REST-API在Spring Cloud DataFlow服务器上运行Spring Cloud Tasks . 可以使用： curl -X GET http://SERVER:9393/t... -
1 votesanswersviews
气流修正已经存在
我第二次运行了气流 initdb 并收到以下错误： alembic.util.exc.CommandError: Can't locate revision identified by '9635ae0956e7' 所以我明白我需要删除已经注册的版本，但我似乎无法找到它。当我打开 mysql cli(使用 sudo mysql)时我只看到 4 个 dbs：information_schema，m... -
0 votesanswersviews
Apache - Airflow 1.10.1没有开始工作
我有Airflow的问题，DAG中的第一个作业总是成功启动和结束，但第二个作业永远不会自动启动 . 我尝试在UI中清除该作业，但它没有启动，如果我想看到它正在运行，我需要删除数据库中正在运行的作业， delete from job where state='running' 但我在运行状态下没有很多工作，我只有一个JoblerJob，最新的Heartbeat ok，以及16个外部任务传感器等待这... -
0 votesanswersviews
apache-airflow安装失败
我正在尝试使用 pip install apache-airflow 建议的方式安装apache-airflow . 在摆锤安装（依赖）期间，我收到一个错误： error: can't copy 'pendulum/parsing': doesn't exist or not a regular file 我认为它与Python distutils error: "[directory... -
1 votesanswersviews
virtualenv上的apache airflow：错误 - 加密值时无法加载fernet
我正在尝试在virtualenv上安装Apache Airflow . 首先我创建并激活了一个新的python虚拟环境，然后我通过pip安装了apache-airflow . $ virtualenv $HOME/.p2env -p /usr/bin/python Running virtualenv with interpreter /usr/bin/python New python exec... -
0 votesanswersviews
在Conda环境中安装Apache-Airflow
情况 我正在尝试使用pip将apache-airflow安装到conda环境中 . 我无法，因为setup.py egg_info一直失败： 命令“python setup.py egg_info”失败，错误代码1在C：\ Users \ joshu \ AppData \ Local \ Temp \ pip-install-3efyslfh \ apache-airflow \ 我跑的时候... -
5 votesanswersviews
Google Cloud Composer和Google Cloud SQL
我们有哪些方法可以从新推出的Google Cloud Composer连接到Google Cloud SQL（MySQL）实例？目的是将Cloud SQL实例中的数据导入BigQuery（可能通过 Cloud 存储实现中间步骤） . Cloud 端SQL代理是否可以以某种方式暴露在承载Composer的Kubernetes集群的pod上？ 如果没有，可以使用Kubernetes Servi... -
4 votesanswersviews
如何将Airflow连接到oracle数据库
我正在尝试使用Airflow创建与oracle数据库实例（oracle：thin）的连接 . 根据他们的documentation我输入了我的主机名，后跟端口号和SID： 主持人：example.com:1524/sid 填补其他领域： Conn Type ：Oracle Schema ：用户名（documentation表示：使用您的用户名进行架构） Login ：用户名 Password ：*... -
28 votesanswersviews
为气流中的日志设置s3
我正在使用docker-compose来设置可扩展的气流群集 . 我的解决方案是基于这个Dockerfile https://hub.docker.com/r/puckel/docker-airflow/ 我的问题是将日志设置为从s3写入/读取 . 当一个dag完成后，我得到这样的错误 *** Log file isn't local. *** Fetching here: http://ea43... -
1 votesanswersviews
Apache Airflow调度程序不会在计划时触发DAG
当我计划每天在特定时间运行DAG时，DAG执行根本不会发生 . 但是，当我重新启动Airflow网络服务器和调度程序时，DAG在该特定日期的预定时间执行一次，并且从第二天开始不执行 . 我使用的是带有python 2.7.6的Airflow版本v1.7.1.3 . 这里是DAG代码： from airflow import DAG from airflow.operators.bash_opera... -
4 votesanswersviews
部署新dags的程序
我需要一些关于如何在部署时重新启动所有气流服务而不在任务中杀死工作人员的建议 . 我已经为我的DAG编写了一个部署过程，它在virtualenv中安装了气流和任何其他pip依赖项 . 一旦我的发布目录准备就绪，我： 停止airflow-flower，airflow-worker，airflow-scheduler和airflow-webserver 更新"current"... -
6 votesanswersviews
气流：网络服务器找不到新的DAG
在Airflow中，我该如何处理错误“此DAG在Web服务器DagBag对象中不可用 . 它显示在此列表中，因为调度程序在元数据库中将其标记为活动”？ 我已经将新的DAG复制到Airflow服务器，并尝试过： 取消暂停并刷新它（基本操作程序，在上一个答案中给出https://stackoverflow.com/a/42291683/160406） 重新启动网络服务器 重新启动调度程序 ... -
1 votesanswersviews
如何阻止气流预定dag
我不小心安排了一个简单的DAG作业，每5分钟运行一次 . 我输入以下命令： airflow backfill jobs -s 2017-05-01 -e 2017-06-07 我可以看到气流Webserver GUI，它启动了许多回填作业 . 我试图将正在运行的作业标记为“成功”，但它会返回错误 . 我想每天跑步而不是每5分钟跑一次 . 我怎么能阻止错误的工作？ -
1 votesanswersviews
气流DAG调度日期和时间
我们一直在将我们的cron工作转换为Airflow DAG，我很难确定DAG的调度在Airflow中是如何工作的 . 一些DAG需要在一天中的特定时间（即早上7点）运行，其他DAG需要在该月的特定日期/时间（即每月15日上午6点）运行 . 通常，Airflow似乎正常运行每日DAG . 因此， schedule_interval = '0 7 * * * 与 'start_date': datet... -
1 votesanswersviews
更新添加任务后未找到Airflow DAG任务
我无法更新dag文件 . Dag仍然有我的dag文件的旧版本 . 我添加了一个任务，但在检查日志和UI（DAG->代码）时似乎没有更新 . 有人能帮我找到出错的地方吗？我的任务非常简单 . 我当然检查了airflow.cfg中的dag目录路径并重新启动了airflow webserver / scheduler . 我没有运行它的问题（但使用旧的dag文件） . 谢谢！ -
0 votesanswersviews
如何查看Airflow DAG的完整路径？
在Airflow Web界面中，我可以查看DAG列表 . 如果我单击其中一个DAG，我可以看到DAG的不同视图或DAG的代码，在详细信息选项卡中，我可以看到DAG文件的名称，但不能看到路径 . 我也试过了 airflow list-dags 但是那并没有找到 . 我可以在Web界面中看到一个DAG但我无法找到它在文件系统中的位置 . 有没有办法从Airflow Web界面或Airflow CLI查...