airflow - 云作曲家解析 json

Question

我已将一个简单的 json文件导入数据文件夹。在 json 中加载、解析和使用参数的最佳方式是什么？

Answer 1

gs://composer-bucket/data 文件夹融合到 Airflow 的 /home/airflow/gcs/data 目录（如此处指定https://cloud.google.com/composer/docs/concepts/cloud-storage#folders_in_the_storage_name_bucket）

例如，如果您需要在某些 PythonOperator 任务定义中加载它，您可以使用以下非常简单的代码：

import json
with open('/home/airflow/gcs/data/my_file.json', 'r') as f:
    d = json.load(f)

这是您可以做到的一种方式。

根据您需要加载的内容以及需要如何使用它，您可能还需要查看 Airflow 变量而不是 JSON 文件。（https://airflow.apache.org/concepts.html#variables）