问题标签 [kedro]

在 Kedro 中，我们可以流水线化不同的节点并部分运行一些节点。当我们部分运行一些节点时，我们需要将一些节点的输入保存在某个地方，以便当另一个节点运行时，它可以访问前一个节点生成的数据。但是，我们在哪个文件中编写代码——pipeline.py、run.py 还是nodes.py？

例如，我试图将 dir 路径直接保存到变量名“model_path”下的 DataCatalog。

来自 pipeline.py 的片段：

但是，当我运行 Kedro 时出现以下错误：

在 Kedro 管道中，节点（类似于 python 函数）是按顺序声明的。在某些情况下，一个节点的输入是前一个节点的输出。但是，有时在命令行中调用 kedro run API 时，节点不会按顺序运行。

在 kedro 文档中，它说默认情况下节点按顺序运行。

我的 run.py 代码：

目前我的最后一个节点有时会在我的前几个节点之前运行。

我想为不同的文件运行管道，但其中一些不需要所有已定义的节点。我怎样才能通过它们？

我正在使用“usecols”参数来获取 .xlsx 文件的某些列（我正在使用 Kedro 教程中的 xls_local.py 文件），但程序说“usecols 与列不匹配，列预期但未找到：”它只显示具有特殊字符的列。请问我该如何解决这个问题？非常感谢您的关注。

我未能成功禁用 kedro 日志。我尝试添加disable_existing_loggers: True到 logging.yml 文件以及disable:True所有现有日志中，但它似乎仍在保存日志文件。有什么建议么？

我想通过 nodes.py 文件中的类来组织节点函数。例如，与清理数据相关的函数在“CleanData”类中，带有@staticmethod 装饰器，而其他函数将留在“Other”类中，没有任何装饰器（这些类的名称仅具有代表性）。在管道文件中，我尝试导入类的名称、节点的名称和以下方式：CleanData.function1（它给出了一个错误）并且它们都不起作用。如果可能的话，我怎样才能从类中调用节点？

我有一个csv看起来像的文件

我想将它作为 Kedro 加载CSVLocalDataSet，但我不想读取整个文件。我只想要几列（比如说a和b例如）。

我有什么方法可以指定要读取/加载的列列表吗？

我的管道发出很多 HTTP 请求。这不是一个 CPU 繁重的操作，我想旋转比 CPU 内核数量更多的进程。我怎样才能改变这个？

我试图了解 Kedro 将来自一个节点的 Spark 数据帧转换为作为另一个节点输入所需的 Pandas 而不创建冗余转换步骤的最佳方法是什么。

我有一个功能

现在我需要创建一个节点，但我做不到node(do_something, ["input_data", 1], "output"). 如何将常量值放入节点？