问题标签 [papermill]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
187 浏览

gcloud - 谷歌云笔记本实例运行脚本不在启动中

我有一个带有笔记本文件的笔记本实例。我使用实例的启动脚本通过 papermill 运行这个笔记本文件。我希望笔记本文件仅在我远程启动实例时运行,而不是从谷歌云控制台运行。

我想知道其中一个是否可行,或者是否有另一种解决方案:

1 - 脚本将检测到实例是从仪表板启动的。

2 - 我将删除启动脚本并使用另一个可以通过远程命令运行的脚本。

3 - 关闭脚本将删除启动脚本。

0 投票
1 回答
465 浏览

python-3.x - 尝试从 AWS Lambda 运行 jupyter 笔记本 - 得到:“errorMessage”:“没有名为 python3 的内核”

我正在尝试使用以下使用 papermill 的代码从 Lambda 运行 Jupyter 笔记本:

程序抛出此错误:

我不确定如何查找可用内核的列表。请帮忙。

提前致谢。

0 投票
1 回答
1285 浏览

python - Hung cells:与 papermill 并行运行多个 jupyter notebook

我正在尝试通过从另一个笔记本启动它们来并行运行 jupyter 笔记本。我正在使用造纸机来保存笔记本的输出。

在我的 scheduler.ipynb 中,我使用multiprocessing的是某些人已经成功的方法。我从基本笔记本创建进程,这似乎总是在第一次运行时工作。sleep 10我可以在 13 秒内运行 3 个笔记本。如果我有一个后续单元尝试运行完全相同的东西,它产生的进程(多个笔记本)会无限期地挂起。我尝试添加代码以确保生成的进程具有退出代码并已完成,甚至在完成后对它们调用终止 - 不走运,我的第二次尝试永远不会完成。

如果我做:

我看到似乎有 4 个正在运行的内核(4 个进程)。当我查看正在运行的笔记本时,我看到有 6 个正在运行的笔记本。这似乎在文档中得到支持,一些内核可以为多个笔记本提供服务。“一个内核进程可以同时连接到多个前端”</p>

但是,我怀疑因为 ipython 内核继续运行,在没有获得衍生进程的地方发生了一些不好的事情?有人说使用多处理是不可能的其他人也描述了同样的问题

我正在使用 python==3.6.12,papermill==2.2.2

0 投票
0 回答
42 浏览

python - 无法在 GCP 中使用 Papermill 将函数从一个 jupyter 笔记本(.ipynb)调用到另一个(.ipynb)

我正在 GCP 中尝试 Papermill。我需要从 Jupyter Notebook-2(test_integration) 调用 Jupyter Notebook-1 (call_test) 中的特定函数

我无法这样做,任何人都可以帮助我如何去做。下面找到代码

Jupyter Notebook-2 (test_integration):

Jupyter Notebook-1 (call_test):

错误:

0 投票
1 回答
175 浏览

jupyter - 在 jupyterhub 单用户服务器上远程运行笔记本

我已经使用Zero to Jupyterhub Helm 图表将 jupyterhub 部署到 GKE。

我已经在生成的单用户实例中设置了我的 python 环境和笔记本,现在我想远程(例如,通过另一台服务器上的 API)在我的单用户环境中运行笔记本,然后下载输出。

如果有帮助,我已经将笔记本参数化为使用papermill运行它,因为我想编写一个脚本来在一系列数据集上运行笔记本。

0 投票
0 回答
83 浏览

python - 使用 PyInstaller 和 Papermill 时缺少模块“textwrap3”

我正在尝试使用 PyInstaller 在 python 中构建可执行文件。我的程序使用 Papermill,但是在运行可执行文件时我得到一个“找不到模块 textwrap3”。

我试过--hidden-import==textwrap3,在造纸厂之前在我的代码中强加 textwrap3 并将 textwrap3 添加到 pathex

仅编译以下代码时出现错误:

任何帮助是极大的赞赏。

0 投票
1 回答
150 浏览

python - 使用 Papermill 生成笔记本时如何将 Jupyter Notebook 标记为可信

我每天使用 Papermill 生成一些 Jupyter Notebook 文件,这些文件会覆盖前一天的文件。每次新生成的文件都被标记为“不受信任”。我可以点击按钮让他们信任,但每天都这样做很烦人。使用 Papermill 生成文件时,有什么方法可以自动将这些文件设置为“受信任”?非常感谢!

0 投票
1 回答
115 浏览

python - 将输出存储到 gcs 时,papermill 错误 unexpexted 关键字参数 min

嗨,我在谷歌作曲家(经理气流)内运行造纸厂。我正在使用 PythonVirtualenvOperator 在作曲家中运行 papermill。源笔记本位于谷歌云存储内,我需要存储已执行笔记本的路径也在谷歌云存储内。但是当像这样运行 papermill 时出现错误:Unexpected keyword argument 'min'

以下是代码片段:

错误输出:

任何帮助将不胜感激,谢谢。

0 投票
0 回答
39 浏览

python - TQDM造纸机输出不正确

我正在使用 Papermill 执行使用 TQDM 自动实例的笔记本。但是,当我检查 TQDM 的日志时,它会打印 HBOX,这意味着它无法识别输出格式。我想问一下 TQDM auto 是否有任何环境标志可以强制设置文本模式而不是 HTML 栏?如果有,我可以在使用 Papermill 运行时设置标志,它会正确输出五线谱。

0 投票
0 回答
128 浏览

jupyter-notebook - 找不到造纸厂操作员的输出文件/文件夹。阿帕奇气流 2.0。假设在 tmp 文件夹中。Output_nb="/tmp/out-{{ execution_date }}.ipynb"

找不到造纸厂操作员的输出文件/文件夹。阿帕奇气流 2.0。假设在 tmp 文件夹中。Output_nb="/tmp/out-{{ execution_date }}.ipynb" 我无法在任何地方找到文件或文件夹。