azure - 如何将 Airflow 日志发送到 Azure Blob Store

Question

我在遵循本指南第 3.6.5.3 节“将日志写入 Azure Blob 存储”时遇到了问题

该文档指出您需要一个活动挂钩到 Azure Blob 存储。我不确定如何创建它。一些消息来源说你需要在 UI 中创建钩子，还有一些消息说你可以使用环境变量。无论哪种方式，我的日志都没有写入 blob 存储，我束手无策。

Answer 1

Azure Blob 存储挂钩（或任何与此相关的挂钩）告诉溢出如何写入 Azure Blob 存储。这已经包含在最新版本的气流wasb_hook中。

您需要确保挂钩能够写入 Azure Blob 存储。只需提及REMOTE_BASE_LOG_FOLDER存储桶应命名为wasb-xxx. 一旦你处理好这两件事，说明就会顺利进行，

Answer 2

我使用以下步骤实现了将日志写入 blob

1. config在气流文件夹内创建文件夹
2. 在文件夹__init__.py内创建空文件log_config.pyconfig
3. airflow_local_settings.py在您的机器中搜索

/home/user/env/lib/python2.7/site-packages/airflow/config_templates/airflow_local_settings.py /home/user/env/lib/python2.7/site-packages/airflow/config_templates/airflow_local_settings.pyc

跑

cp /home/user/env/lib/python2.7/site-packages/airflow/config_templates/airflow_local_settings.py config/log_config.py

4. 编辑airflow.cfg[核心] 部分

remote_logging = True

remote_log_conn_id = log_sync

remote_base_log_folder=wasb://airflow-logs@storage-account.blob.core.windows.net/logs/

logging_config_class =log_config.DEFAULT_LOGGING_CONFIG

5. 添加log_sync连接对象如下

6. 安装气流天蓝色依赖项

   pip install apache-airflow[azure]

7. 重新启动网络服务器和调度程序