python - Jupyter notebook 执行基于用户输入的自动化参数

Question

我正在尝试构建一个服务，允许用户使用笔记本在单元格中设置自动化参数，例如笔记本应该开始执行的开始时间。然后，该服务将使用此输入时间并在所需时间执行笔记本并将执行的笔记本存储到 S3。我已经调查过了papermill，但我相信没有办法使用它来添加自动化参数，比如开始执行时间。有没有办法做到这一点？或者造纸厂有没有办法做到这一点？

Answer 1

查看代码here和here，了解将安排笔记本执行的包装器

上面的 shell 脚本创建一个 VM，运行笔记本，保存输出并销毁实例。

在Google Cloud AI Platform Notebooks中，我们提供了一项调度服务，该服务现在处于 Beta 版。

Answer 2

Papermill 只处理参数化和执行笔记本，而不是调度。为此，您需要使用其他工具。您可以在 Apache Airflow 之上自己构建一些东西，这似乎是这种情况下最广泛使用的调度程序。它具有对 Papermill 的本机支持（请参见此处）。或者你可以使用像Paperboy这样的现成工具。

要深入了解调度笔记本，请查看 Netflix 的文章。