google-cloud-platform - 如何在谷歌云 AI 平台中增加 jupyter notebook 最大缓冲区大小？

Question

我在谷歌云平台上运行 Jupyter 笔记本。我有一个很大的pickeld Dataframe 可供阅读。由于 Jupyter 笔记本的默认缓冲区大小约为 0.5 Gb，因此它会崩溃并重新启动内核。我已经在 Compute Engine 中添加NotebookApp.max_buffer_size='my desired value'了jupyter_notebook_config.py，但仍然存在问题。

Answer 1

我认为调整实例的大小应该改变内存限制，但是我在调​​整到更大的实例时遇到了同样的问题，这是我的解决方法：

我建议您在尝试之前保存您的工作，以防万一。

Jupyter 作为服务运行，所以打开它的服务配置：

sudo vim /lib/systemd/system/jupyter.service;

你应该看到这个配置：

[Unit]
Description=Jupyter Notebook

[Service]
Type=simple
PIDFile=/run/jupyter.pid
MemoryHigh=34359738368
MemoryMax=34359738368
ExecStart=/bin/bash --login -c '/opt/conda/bin/jupyter lab --config=/home/jupyter/.jupyter/jupyter_notebook_config.py'
User=jupyter
Group=jupyter
WorkingDirectory=/home/jupyter
Restart=always

[Install]
WantedBy=multi-user.target

将 MemoryHigh 和 MemoryMax 更改为所需的字节值。

然后：

sudo systemctl daemon-reload
sudo systemctl restart jupyter

稍等一下 jupyter 重新启动，你应该很高兴。