13

我无法从 Airflow UI 看到附加到任务的日志： 在此处输入图像描述

airflow.cfg 文件中的日志相关设置为：

  • remote_base_log_folder =
  • base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
  • worker_log_server_port = 8793
  • child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler

虽然我正在设置 remote_base_log_folter 它试图从中获取日志http://:8793/log/tutorial/print_date/2017-08-02T00:00:00- 我不明白这种行为。根据设置，工作人员应该将日志存储在，/home/my_projects/ksaprice_project/airflow/logs并且应该从同一位置而不是远程获取日志。

更新 task_instance 表内容： 在此处输入图像描述

4

3 回答 3

7

我也面临同样的问题。

设置以下变量airflow.cfg对我有用。用作{hostname}机器FQDN {hostname}而不是本地主机。

endpoint_url = http://{hostname}:8080

base_url = http://{hostname}:8080

祝你好运！

于 2017-11-04T19:33:59.460 回答
1

正如您在 image-1 中看到的那样，有一个 timestamp ，请确保在您的日志中您有以该时间戳为 name 的文件夹/文件。

您正在查看 UI，因此首先确保您在目录中创建了日志文件，在我的情况下，我的日志文件夹看起来像

(AIRFLOW-ENV) [cloudera@quickstart dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task 
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [cloudera@quickstart dags]$

所以我的日志网址是

http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727

当您转到 DAG 并选择 GRAPH-VIEW 时，您会看到“RUN”旁边的下拉菜单，选择适当的运行，然后在下面的图表视图中，选择适当的任务/操作员并选择查看日志

于 2017-11-14T17:46:06.960 回答
0

我也遇到了这个问题，不得不取消暂停任务。

dags_are_paused_at_creation = False

我还在我的气流.cfg 中将新的 dags 设置为默认为 unpaused

dags_are_paused_at_creation = False
于 2017-09-29T17:48:01.120 回答