问题标签 [gcp-ai-platform-notebook]

我在使用 GCP 和 AI 平台（Jupyterlab）时遇到了一些问题，我似乎无法长时间保持与服务器的稳定连接。我不断收到那些“服务器连接错误”消息。从那里有两种可能性：

• 要么什么都没有发生，我的手机继续运行，要么
• 单元格已停止运行，我可以看到状态“无内核！' 在笔记本的右上角。每当我再次选择内核（python 3）时，根据我的运气，我可以继续工作，或者单元格将显示运行状态（左侧带有 *），但左下角的内核状态将保持不变：“已连接”（而不是“忙碌”）。对于后者，我需要重新启动内核并再次运行所有单元，这可能会很长。

有时这会在我（重新）启动实例后运行第一个单元格时立即发生，有时会稍晚一些。我能够在没有任何问题的情况下在笔记本上工作的最长稳定时间是 20 到 30 分钟，这很烦人。

我的主实例的配置： - 16 个 CPU - 60gb 的 RAM - P100 NVIDIA GPU

我尝试了不同类型的实例，但我一直遇到同样的问题，家里的网络很稳定。

错误信息

我在谷歌云平台上运行 Jupyter 笔记本。我有一个很大的pickeld Dataframe 可供阅读。由于 Jupyter 笔记本的默认缓冲区大小约为 0.5 Gb，因此它会崩溃并重新启动内核。我已经在 Compute Engine 中添加NotebookApp.max_buffer_size='my desired value'了jupyter_notebook_config.py，但仍然存在问题。

TL;博士：

如何将大型数据集（超过 30 GB）从 BigQuery 移动到 Jupyter Notebooks（GCP 中的 AI Notebook）

问题：

我确实有一个大约 30GB 的数据集（时间序列），我想将其上传到 Jupyter Notebooks（AI Notebook），以便在将 NN 模型部署到自己的服务器之前对其进行测试。数据集已经在 Bigquery 中构建，我确实使用通配符（100 个部分）将其移动到存储中。

我做了什么：

但是，我一直试图将其上传到笔记本中：

1）Bigquery不允许直接查询，也太慢了

2）无法下载，本地上传

2) 是否以 avro 格式将其移动到存储中，但尚未使用通配符查询它：

我错过了什么？我应该把模型变成一个函数并以某种方式使用数据流吗？

最好的

我想从我的谷歌云控制台的人工智能笔记本读取和写入数据到谷歌驱动器。我目前知道如何通过我的本地 Python 控制台（使用 gspread 和 oauth2client 库）从谷歌电子表格中读取数据。

我知道我可以使用 pandas_gbq 从 AI 笔记本访问 bigquery 数据，而无需提供任何凭据。谷歌表格也有类似的方法吗？

提前致谢！

我在 AI Platform Serving 上部署简单的 Pytorch 训练模型时遇到问题。

这是错误：

这是自定义预测类：

我尝试更改代码并保存模型格式（.pkl、.pth、.pt），但似乎没有任何效果。我还尝试将我的模型类包含在与我的自定义预测器类相同的 .py 脚本中，但这也不起作用。pip-installable 包包含所有必要的代码，即模型代码以及自定义预测器代码。感谢帮助！

我正在尝试在 python 中导入 rtree

导入时出现此错误

在线研究它说我需要在 Jupyter 中运行 !pip install libspatialindex 时安装 libspatialindex，我收到此错误

在这里研究https://libspatialindex.org/它说要安装 conda 并运行它

conda 目前不在 AI 平台笔记本上。不知道怎么安装，没看到网上有关于在AI平台上安装的说明

最好的下一步是什么？谢谢

我对 GCP/AI Platform/Git/等非常陌生，所以请多多包涵。

我正在尝试将 AI Platform Notebook 和 VM 连接到 Google Cloud Source Repository。在我的组织中，我并不是唯一一个将在 repo 中处理代码的人，因此多人保持对它的访问非常重要。我的目标是能够在 AI Platform Notebooks 中实例化 Notebook/VM，分叉/克隆存储库，根据需要进行更改，然后推送回我的存储库分叉（最终与 master 分支合并）。我还想让我的虚拟机持续存在，根据需要上下旋转它，随意拉出/推入仓库。

令人惊讶的是，我没有找到关于将 AI Platform 与 Cloud Source Repositories 连接的文档。

当我尝试在 CSR 中克隆一个 repo 时，它会要求提供 SSH 凭据，但我对这个过程不是很熟悉。我能够从 SSH 命令行为我的特定 VM 实例生成一个 RSA 密钥对，但我不知道从那里做什么（最重要的是，我想确保多人可以分叉/克隆主仓库）。

提前感谢您提供的任何帮助。

根据这个问题的建议，我一直在运行一个 Python 应用程序，该应用程序使用 Tensorflow 运行模拟并将结果输出到 csv 文件，使用 AI Platform。在此之后我一直在使用 Jupyter 。

效果很好，我增加了我的虚拟机的大小以更快地运行它。

现在如何添加机器以使其运行得更快，也许使用 Spark 和/或 Dataproc，或者理想情况下，更简单的东西？

我有两个项目。Project Apple 在 BQ 表中有数据。Project Banana 对 Apple 的 BQ 表具有读取权限。当我使用 Banana 的 BQ UI 运行查询时，一切都很好。相同的查询在 Banana 的 AI 笔记本中不起作用。

香蕉 BQ 用户界面：

工作正常。

Banana 的 AI 笔记本：

Client creating using default project: banana

你能建议我应该研究什么吗？我刚开始使用 AI Hub。

尝试在 GCP AI 平台上打开 Jupyter Notebook 实例时出现504 错误。我已经在 2 天内多次重启并重置了实例，但仍然出现相同的错误。有谁知道如何克服 504 错误并访问我在 Jupyter 笔记本实例上的数据？截图在这里