-
2 votesanswersviews
气流：无法将工作日志发送到S3
我使用Docker镜像在我的kubernetes集群上部署了Airflow网络服务器，调度程序，工作人员和花 . 气流版本为1.8.0 . 现在我想将工作日志发送到S3和 从Admin UI创建Airflow的S3连接（只需将 S3_CONN 设置为conn id， s3 作为类型 . 因为我的kubernetes集群在AWS上运行且所有节点都具有S3访问角色，所以应该足够了） 设置Air... -
0 votesanswersviews
气流心跳致命：抱歉，已有太多客户
在运行子标记时，是否有人在心跳阶段遇到“抱歉，已经有太多客户端”错误？ [2017-11-22 08：21：23,747] 错误 - 尝试心跳时出现异常！睡觉5.0秒追溯（最近一次调用最后一次）：文件“/usr/local/lib/python2.7/site-packages/airflow/jobs.py”，第2131行，在_execute self.heartbeat（）文件中“/ usr... -
7 votesanswersviews
apache-airflow 1.9默认时区设置为非utc
我最近将气流版本从气流1.8升级到apache-airflow 1.9，升级成功了，我使用Celery Executor扩展了环境，一切似乎工作正常但是dag和任务开始日期，执行日期等都出现在UTC时区和计划的dags以UTC格式运行，在升级之前，它们曾经在本地时区（pdt）中运行 . 有关如何将pdt作为气流中的默认时区的任何想法？ 我已尝试在 airflow.cfg 中使用 default_t... -
1 votesanswersviews
气流DAG调度日期和时间
我们一直在将我们的cron工作转换为Airflow DAG，我很难确定DAG的调度在Airflow中是如何工作的 . 一些DAG需要在一天中的特定时间（即早上7点）运行，其他DAG需要在该月的特定日期/时间（即每月15日上午6点）运行 . 通常，Airflow似乎正常运行每日DAG . 因此， schedule_interval = '0 7 * * * 与 'start_date': datet... -
0 votesanswersviews
气流DAG未按计划进行
我是Airflow的新手并创建了我的第一个DAG . 这是我的DAG代码 . 我希望DAG现在开始，然后一天运行一次 . from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta default_args = {... -
3 votesanswersviews
气流与BgQuery错误集成
我已经安装了气流，我写了一个DAG来将MySQL数据与BigQuery集成 . 当我运行python脚本时，我收到以下错误： ImportError：无法导入名称GbqConnector 我按照指示将大熊猫降级为旧版本 . 当我这样做时，我得到了一个不同的错误： ImportError：无法导入名称_test_google_api_imports 编辑：x97Core的建议工作 . 我现在... -
0 votesanswersviews
Airflow如何连接到Spark，是否可以在Airflow中为用户设置不同的访问权限？
嗨，我还是Airflow的新手 . 我想知道Airflow如何连接到Spark？我有一个服务器，它具有不同的帐户（或配置文件）来访问Spark群集 . 我想知道Airflow是否有固定的轮廓来连接火花？或者它遵循用户配置文件？ 此外，是否可以在Airflow中为用户设置不同的访问权限？例如，有权访问Spark（或hdfs）中的位置A的用户A只能运行与位置A相关的任务 . （因此无法从位置B运行任何... -
-1 votesanswersviews
Airflow：让用户使用ldap登录
有谁知道我将如何从气流中获取当前用户？我们的后端已启用 airflow/contrib/auth/backends/ldap_auth.py ，因此用户通过该身份验证登录，我想知道如何让当前用户点击某些内容（我们作为插件的自定义视图） . -
5 votesanswersviews
如何仅允许混凝土用户使用气流
问题很简单 . 我需要限制气流Web用户只查看和执行某些DAG和任务 . 如果可能的话，我宁愿不使用Kerberos也不要OAuth . Multi-tenancy选项似乎是一个选项，但无法使其按预期方式工作 . 我目前的设置： 添加了气流网络用户 test 和 ikar 来自Web Authentication / Password 我的unix用户名是 ikar ，带有 /home/i... -
1 votesanswersviews
在Airflow中生成多个任务时反转上游/下游关系
可以找到与此问题相关的原始代码here . 我对两个bitshift运算符感到困惑，并且 set_upstream / set_downstream 方法正在我在DAG中定义的任务循环中工作 . 当DAG的主执行循环配置如下： for uid in dash_workers.get_id_creds(): clear_tables.set_downstream(id_worker(ui...