我的气流服务器设置没有运行任务,甚至没有示例 dags。每当我进行手动运行时,DagRun
都会创建一个状态正在运行的对象,但它始终保持不变。这个问题出现在所有的 dag 上,而不仅仅是一个特定的 dag。
每当我触发 dag 时,我都可以看到它出现在调度程序日志中,但 celery 日志中没有任何内容。
我可以使用airflow test
命令在 dag 中运行任务,airflow trigger
或者手动触发器不起作用。
我已经确保所有这三个命令都在运行,我现在也将它们置于主管之下。
- 气流网络服务器
- 气流调度器
- 气流工作者
我尝试过的事情
- 我尝试将执行器更改为
LocalExecutor
没有帮助的 celery 执行器。但那 - 我目前正在使用 redis 进行队列设置,如 :
broker_url = redis://myhostname.com:6379/10
和结果后端设置celery_result_backend = amqp://guest:guest@localhost:5672
。我已经为这两个设置尝试了 rabbit-mq 和 redis 的各种组合,但这并没有帮助 - 对于 redis,我尝试过使用格式
amqp://
和pyamqp://
指定代理 url - 我尝试更改 celery 版本,但这导致了错误。我正在使用的芹菜版本是 celery==4.0.2
这是在 Ubuntu 14.04.5 LTS 上运行的设置,我已经能够在我的 mac 上成功运行本地版本的气流。
我已经坚持了好几个星期了,有人可以帮我找出/调试这个问题吗?