问题标签 [airflow-webserver]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
airflow - Unable to start Apache Airflow webserver due to dagbag /dev/null error
I have installed apache airflow V 2.1.0 on Ubuntu running on Windows Linux subsystem(WSL). After installation, I have created an admin user and also set the AIRFLOW_HOME variable in the ~/.bashrc file as below
export AIRFLOW_HOME=~/airflow
However, when I'm trying to start the airflow webserver it is not working and I'm getting below text
Can anyone please help me to get rid of this issue?
airflow-scheduler - 如何修复 Airflow DAG 日志中的“无法从工作人员获取日志文件。不支持的 URL 协议”错误?
我正在通过此图像通过 docker 运行 Airflowapache/airflow:2.1.0
请参阅此线程以了解我遇到的初始错误。
目前我能够运行我以前的现有 DAG。但是,当我添加较新的 DAGS 时,我在日志文件中收到以下错误。我很确定这不是内存或计算的问题。
我已经尝试过的事情:
- 重新启动我的容器
docker prune
然后建设- 从前端删除 DAG
docker - 无法在 docker 后台启动气流网络服务器
我正在尝试在 anaconda3 docker 映像上运行气流。一切正常,除了我无法使用以下命令在后台运行气流网络服务器和调度程序:
它们都从前台开始,我必须为它们打开一个新终端才能运行。
authentication - 在气流 2.1.4 中创建具有 LDAP 身份验证的用户
我们已将气流从 2.0.2 更新到 2.1.4,并在“webserver_config.py”中使用 LDAP 进行身份验证,一切正常。我们以管理员身份登录并检查了管理员角色中的权限(所有访问权限都已授予)。
在新的气流版本中,“+”按钮在 gui 的 url .../users/list/ 中消失了,但我们可以通过气流 cli 创建用户。
这是 LDAP-Auth 的功能还是配置错误?
airflow - Airflow 2.0 / 1.10.15:如何在更新气流时禁用登录
我将气流版本移动到 2.0。我不需要登录功能。
气流是使用 kubernetes 设置的
我确实提交了 webserve_config.py 并进行了设置
AUTH_ROLE_PUBLIC = 'Admin'
,但我的启动页面没有显示 dags 并且启用了登录选项。
celery - 气流网络服务器没有名为“airflow.www.fab_security”的模块
我在 Ubuntu 上运行 Airflow 1.10.12。Airflow 使用本地执行程序和 MySql 运行良好。为了进行一些测试,我已经使用 RabbitMQ 迁移到 Celery 执行器。根据教程,这是我的配置文件:
但是当我运行时:
抛出以下错误:
airflow-scheduler - 气流:无论如何可以在 GUI 中看到远程作业运行的主机
我们正在使用 BashOperator 和 SSHOperator 连接到各种主机以执行作业。我们的工作与特定主机相关联。AirFlow 显示了运行该作业的工作人员,但我想知道是否有任何方法可以显示我们使用 ssh 运行命令的哪个框,以便我们可以通过它们运行的主机名过滤作业。
docker - 如何设置气流工作者以允许网络服务器使用 docker 在不同机器上获取日志?
我最近刚刚使用 docker 容器安装了气流 2.1.4,我已经成功地在同一台机器上使用 docker-compose 设置了 postgres、redis、调度程序、2x 本地工作人员和花。
现在我想扩展,并在其他机器上设置工人。
我能够让工作人员启动并运行,flower 能够找到工作节点,工作人员正在从调度程序正确接收任务,但无论任务的结果状态如何,任务都会被标记为失败并显示错误消息如下所示:
然后我尝试替换AIRFLOW__CORE__HOSTNAME_CALLABLE: 'socket.getfqdn'
为AIRFLOW__CORE__HOSTNAME_CALLABLE: 'airflow.utils.net.get_host_ip_address'
我收到了这个错误:
然后我尝试将worker的端口8793与其主机(在下面的worker_4中)映射,现在它正在返回:
但有时仍会出现“名称解析暂时失败”错误。
我还尝试复制错误中的 URL,并将 IP 替换为主机 ip,并收到以下消息:
如果需要其他信息,请告诉我。
提前致谢!
下面是调度程序/webserver/flower 的 docker-compose.yml:
和我的 docker-compose.yml 用于另一台机器上的工人: