kedro - 在 DataCatalog 中指定 Kedro 数据版本？

Question

是否可以使用 Kedro 定义数据版本

  type: pandas.CSVDataSet
  filepath: data/01_raw/company/cars.csv
  versioned: True
  load_version: $USER_DEFINED_VERSION # Wanted to do this

目前，Kedro 支持使用 CLI 指定加载版本，在 Datacatalog 中指定会更容易。

kedro run --load-version="cars.csv:YYYY-MM-DDThh.mm.ss.sssZ"

Answer 1

加载版本属于运行时配置类别。load_version出于将运行时配置与数据目录分开的愿望，不将其包含为另一个键是经过深思熟虑的决定。如果您想指定多个加载版本并且从 CLI 执行此操作很麻烦，您可以利用kedro run -c config.yml在config.yml.