python - 如何动态加载kedro DataSet对象

Question

我目前正在使用 yaml api 来创建我所有的数据集kedro==15.5。我希望能够不时动态地查看这些信息。看来我可以通过io.datasetswhich is a _FrozenDatasetsobject 获得这些信息。我无法遍历它或以编程方式访问它。

具体用例

具体来说，我想添加一个循环遍历数据集的测试，以检查是否没有多个目录条目使用相同的文件路径。不使用eval这可能吗？目前我认为需要做这样的事情

filepaths = {}
for entry_name in io.list()
   eval(f'filepaths[{entry_name}] = io.datasets.{entry_name}'.filepath)

Answer 1

不幸的是，我不认为AbstractDataSet（它们都是从中定义的）具有文件路径或构建它的配置的属性。您可以阅读ProjectContext配置，但不会涵盖动态构建的数据集。