问题标签 [gcp-ai-platform-notebook]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
211 浏览

google-cloud-platform - 用于推理的 google cloud-ml 的自定义代码容器

我知道可以为谷歌云上的培训作业部署自定义容器,并且我已经能够使用命令获得相同的运行。

训练工作成功完成,模型成功获取,现在想用这个模型进行推理,但是问题是我的代码有一部分系统级依赖,所以我必须对架构进行一些修改才能让它一直运行。这就是首先为培训工作提供自定义容器的原因。

据我所知,该文档仅适用于训练部分和推理部分,(如果可能的话)自定义容器尚未探索。

此链接上提供了培训部分文档

我的问题是,是否可以在 google cloud-ml 上部署自定义容器以进行推理?

0 投票
1 回答
287 浏览

docker - 从派生的 docker 映像在特定 /home 文件夹中创建文件夹不起作用

在 aDockerfile中,我有来自派生图像的现有文件夹/home/root. 我无法在/home目录中创建文件夹:

运行 mkdir -p /home/TEST_3

没有显示错误消息,但我可以看到该文件夹​​未创建。相同的命令在/root目录中工作正常

Bother 文件夹在权限方面似乎相似:

硬链接计数不同。有问题的文件夹/home有更多权限

另一个奇怪的事情是,我可以在/home使用中创建一个文件夹:

WORKDIR /home/TEST_2

但是我在这个文件夹中创建的任何文件似乎都不存在。

这里有一个小Dockerfile重新创建这个问题/功能

这里是输出:

我正在Docker version 19.03.4, build 9013bf5使用MacOS 10.14.6

我的问题如下:

  1. 差异在哪里(能够在其中创建文件夹/root但不能在/home
  2. 如何解决此问题以便能够在新文件夹中/home创建文件夹并能够在新文件夹中创建文件。
0 投票
1 回答
1361 浏览

google-cloud-platform - 如何在 GCP 的 AI Platform JupyterLab 实例上设置 Python 3.8 内核?

我的目标是能够使用 Python3.8 在 JupyterLab 中启动 JupyterNotebook

0 投票
1 回答
941 浏览

google-cloud-shell - 从命令行执行 Google AI Platform Notebook

我有一个 Google AI Platform Notebook,我想从某种命令行工具运行它。

最终目标是安排此 AI Notebook 使其在每天或每周的指定时间运行。完全脚本化。

我想我需要先打开一个 VM 实例,然后在该实例上运行 Notebook AI。我知道 GCP 有很多云产品可以促进上述工作(调度程序、发布/订阅、计算、功能),但我现在还没有准备好“嫁给”谷歌。

兄弟,托本

0 投票
1 回答
981 浏览

google-cloud-platform - 使用 Google Cloud AI Platform 和 GPU 运行自定义预测

我正在尝试将 MaskRCNN 模型部署到 GCP AI 平台。默认在线预测对我不起作用,因为我的输入大小大于允许的限制。所以,我决定继续使用自定义预测路线。

关于自定义预测,我尝试使用比默认提供的更大的机器类型,因为我的模型很大并且需要比默认模型 (mls1-c1-m2) 提供的更多的内存。

我想使用 n1-standard-4 机器类型部署模型,以下是我正在运行的命令:

但这会引发错误:

我也尝试了 --framework arg 的不同变体,但它们都抛出了一些类似的错误。那么,为什么会抛出这个错误呢?

如果这可行,那么我的想法是将此机器类型与 k80 加速器一起使用。这将是我的第二个问题?我可以使用加速器运行它以进行自定义预测吗?

0 投票
1 回答
1269 浏览

gcp-ai-platform-notebook - 如何在多个用户之间共享一个 AI Platform JupyterLab?

我的理解是,任何具有项目编辑权限的人都可以访问 AI Platform Jupyter 笔记本,这很好但不太实用,因为这可能会导致几个问题。我想将此环境用作启用 GPU 的“永远在线”机器,并允许我团队中的不同人员访问它。现在,当使用OPEN JUPYTERLAB按钮登录时,每个人都作为默认的“jupyter”用户登录。有没有办法使用不同的凭据登录?

任何提示将非常感谢!

0 投票
1 回答
487 浏览

google-bigquery - 将 Python 数据框从 Google AI Platform Notebook 导出到 Google BigQuery 中的表

我在 Google AI Platform Notebook (PN) 中有一个数据框,我想将它转移到 Google BigQuery 中的一个表中。

我知道要使用的选项:df.to_gqb() 但这需要pip install pandas_gbq。我更喜欢避免在 PN 中已包含的库之上安装 pip,以使设置尽可能简单。

我可能会错过一个简单的解决方案吗?

兄弟,托本

0 投票
1 回答
444 浏览

python-3.x - 谷歌 AI 平台上的 JupyterLab 笔记本在进行预测时速度超慢

我已将经过训练的 tensorflow v2 模型上传到 Google AI 平台,以对看不见的数据进行预测。这些数据以分片的形式存储在 Google Cloud Storage 中,每个分片大小为 300 MB。

我正在使用笔记本来预处理数据,效果很好。在对预处理数据进行预测时,它可以工作,但速度非常慢,仅 300 MB 的文件大约需要 90 分钟。我有很多这样的碎片,所以我必须找到一种方法来加快速度。

我在 cpu、RAM 甚至 gpu 方面尝试了不同的笔记本配置,但它对预测运行时没有影响。

我错过了什么吗?任何想法都非常感谢!

0 投票
1 回答
367 浏览

python - 如何在 Google Cloud 深度学习 VM 上安装 tensorflow-transform?

在笔记本中,当我跑步时

!pip3 install tensorflow-transform==0.15.0

我收到一个错误:

这是在笔记本实例中运行时的错误。

注意我正在使用

0 投票
1 回答
182 浏览

google-cloud-platform - 谷歌云平台自定义预测例程

我正在尝试在 Google Cloud AI 平台中部署我的自定义预测器。我已经使用标志成功创建了模型的一个版本--enable-logging,并且之前我已经在本地测试了代码并且它工作正常。

但是,当我尝试请求在线预测时,会返回以下错误:

Stackdriver 日志不会出现任何日志。

当我运行以下预测命令时,如何在 gcp 云上找到日志