问题标签 [airflow-webserver]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
45 浏览

airflow - 气流图标图例-网络服务器树视图中任务周围的环是什么意思?

这里是气流的新手,想知道文档中是否有图标图例。我没能找到。

更具体地说,网络服务器树视图中任务周围的圆圈是什么意思: 在此处输入图像描述

例如,在入门教程example_complex的示例中:

在此处输入图像描述

0 投票
1 回答
492 浏览

airflow - Unable to start Apache Airflow webserver due to dagbag /dev/null error

I have installed apache airflow V 2.1.0 on Ubuntu running on Windows Linux subsystem(WSL). After installation, I have created an admin user and also set the AIRFLOW_HOME variable in the ~/.bashrc file as below

export AIRFLOW_HOME=~/airflow

However, when I'm trying to start the airflow webserver it is not working and I'm getting below text

Can anyone please help me to get rid of this issue?

0 投票
4 回答
3880 浏览

airflow-scheduler - 如何修复 Airflow DAG 日志中的“无法从工作人员获取日志文件。不支持的 URL 协议”错误?

我正在通过此图像通过 docker 运行 Airflowapache/airflow:2.1.0 请参阅此线程以了解我遇到的初始错误。

目前我能够运行我以前的现有 DAG。但是,当我添加较新的 DAGS 时,我在日志文件中收到以下错误。我很确定这不是内存或计算的问题。

我已经尝试过的事情:

  • 重新启动我的容器
  • docker prune然后建设
  • 从前端删除 DAG
0 投票
1 回答
26 浏览

docker - 无法在 docker 后台启动气流网络服务器

我正在尝试在 anaconda3 docker 映像上运行气流。一切正常,除了我无法使用以下命令在后台运行气流网络服务器和调度程序:

它们都从前台开始,我必须为它们打开一个新终端才能运行。

0 投票
1 回答
299 浏览

authentication - 在气流 2.1.4 中创建具有 LDAP 身份验证的用户

我们已将气流从 2.0.2 更新到 2.1.4,并在“webserver_config.py”中使用 LDAP 进行身份验证,一切正常。我们以管理员身份登录并检查了管理员角色中的权限(所有访问权限都已授予)。

在新的气流版本中,“+”按钮在 gui 的 url .../users/list/ 中消失了,但我们可以通过气流 cli 创建用户。

这是 LDAP-Auth 的功能还是配置错误?

0 投票
0 回答
44 浏览

airflow - Airflow 2.0 / 1.10.15:如何在更新气流时禁用登录

我将气流版本移动到 2.0。我不需要登录功能。

气流是使用 kubernetes 设置的

我确实提交了 webserve_config.py 并进行了设置 AUTH_ROLE_PUBLIC = 'Admin' ,但我的启动页面没有显示 dags 并且启用了登录选项。

0 投票
1 回答
31 浏览

airflow - Dag 依赖视图未显示 Airflow 2.1.3 中的 dag 列表

我们已经成功安装了 Airflow 2.1.3 ,当我们从浏览下拉菜单中点击 Dag 依赖视图时,它显示无..

我们需要在任何地方启用吗?

在此处输入图像描述

在此处输入图像描述

0 投票
0 回答
454 浏览

celery - 气流网络服务器没有名为“airflow.www.fab_security”的模块

我在 Ubuntu 上运行 Airflow 1.10.12。Airflow 使用本地执行程序和 MySql 运行良好。为了进行一些测试,我已经使用 RabbitMQ 迁移到 Celery 执行器。根据教程,这是我的配置文件:

但是当我运行时:

抛出以下错误:

0 投票
0 回答
18 浏览

airflow-scheduler - 气流:无论如何可以在 GUI 中看到远程作业运行的主机

我们正在使用 BashOperator 和 SSHOperator 连接到各种主机以执行作业。我们的工作与特定主机相关联。AirFlow 显示了运行该作业的工作人员,但我想知道是否有任何方法可以显示我们使用 ssh 运行命令的哪个框,以便我们可以通过它们运行的​​主机名过滤作业。

0 投票
1 回答
873 浏览

docker - 如何设置气流工作者以允许网络服务器使用 docker 在不同机器上获取日志?

我最近刚刚使用 docker 容器安装了气流 2.1.4,我已经成功地在同一台机器上使用 docker-compose 设置了 postgres、redis、调度程序、2x 本地工作人员和花。

现在我想扩展,并在其他机器上设置工人。

我能够让工作人员启动并运行,flower 能够找到工作节点,工作人员正在从调度程序正确接收任务,但无论任务的结果状态如何,任务都会被标记为失败并显示错误消息如下所示:

然后我尝试替换AIRFLOW__CORE__HOSTNAME_CALLABLE: 'socket.getfqdn'AIRFLOW__CORE__HOSTNAME_CALLABLE: 'airflow.utils.net.get_host_ip_address'

我收到了这个错误:

然后我尝试将worker的端口8793与其主机(在下面的worker_4中)映射,现在它正在返回:

但有时仍会出现“名称解析暂时失败”错误。

我还尝试复制错误中的 URL,并将 IP 替换为主机 ip,并收到以下消息:

如果需要其他信息,请告诉我。

提前致谢!

下面是调度程序/webserver/flower 的 docker-compose.yml:

和我的 docker-compose.yml 用于另一台机器上的工人: