0

如何将 Jupyter Notebook 用作 Kedro 管道中的节点？这与将 Jupyter Notebooks 中的函数转换为 Kedro 节点不同。我想要做的是使用完整的笔记本作为节点。

4

2 回答 2

2

尽管这在技术上是可行的（例如通过nbconvert），但出于多种原因，强烈不鼓励这样做，包括笔记本电脑缺乏可测试性和可重复性等。

最佳实践通常是保持管道节点功能纯净（如果适用），这意味着它们不会产生任何副作用。笔记本的工作方式通常与该原则相矛盾。

于 2020-09-15T11:12:49.550 回答
1

AFAIK Kedro 不支持这一点，但Ploomber支持（免责声明：我是作者）。任务可以是笔记本、脚本、函数或它们的任意组合。您可以在本地运行、Airflow 或 Kubernetes（使用 Argo 工作流）。

如果使用笔记本或脚本作为管道任务，Ploomber 会在您运行管道时创建一个副本。例如，您可以创建函数来预处理您的数据并添加一个在笔记本中训练模型的最终任务，这样您就可以利用 ipynb 格式为您的模型训练过程生成报告。

这是管道声明的样子：

tasks:
  - source: notebook.ipynb
    product:
      nb: output.html
      data: output.csv

  - source: another.ipynb
    product:
      nb: another.html
      data: another.csv

资源：

于 2021-03-29T05:38:33.070 回答