问题标签 [google-dl-platform]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
4 回答
1233 浏览

jupyter-notebook - 无法连接到 Google Cloud 上的 Jupyter Notebook

在 Google 云上启动我的虚拟机后,我无法访问 jupyter notebook。我在 shell 提示符下键入以下代码:

这将返回有关笔记本服务器的一些信息,包括:

[I 02:28:31.858 NotebookApp] Jupyter Notebook 运行在:[I 02:28:31.858 NotebookApp] http://(my-fastai-instance2 or 127.0.0.1):8081/

但是,当我尝试在此地址访问 jupyter notebook 时,浏览器只会返回一条消息,说明它无法在该服务器地址建立连接。

0 投票
1 回答
956 浏览

python - GCP 实例中的 jupyter 笔记本无法导入 wget 或 fastai

我有一个在谷歌云平台上运行的 VM 实例。我按照此处的说明操作:https : //towardsdatascience.com/running-jupyter-notebook-in-google-cloud-platform-in-15-min-61e16da34d52 为实例设置 Jupyter 笔记本。如果我打开 python3 笔记本,我可以导入某些包(等,matplotlib),但由于某种原因,如果我尝试导入 wget 或 fastai,我会收到

ImportError:没有名为“fastai”的模块

或者

ImportError:没有名为“wget”的模块

该实例是一个预构建的 pytorch 深度学习设置,它应该与 fastai 一起提供,并且 wget 在任何类型的安装之前都可以在 SSH 终端中运行。无论如何,我已经尝试使用 conda 和 pip 命令安装 wget 和 fastai,但都没有使这些模块在 jupyter 中可访问。我假设因为这些模块是在这种情况下预先构建的,所以我需要以不同的方式访问/导入它们?

如果在 SSH 终端(没有任何 conda/pip 安装)我问whereis wget,我收到:

wget: /usr/bin/wget /opt/anaconda3/bin/wget /usr/share/man/man1/wget.1.gz /usr/share/info/wget.info.gz

如果在 SSH 终端(没有任何 conda/pip 安装)我问whereis fastai,我收到:

法泰:

我怎样才能让导入工作?

如果在我的 Jupyter 笔记本中运行:

我得到:

/home/me/anaconda3/lib/python3.5/site-packages/pip/_vendor/requests/init .py :83:RequestsDependencyWarning:旧版本的密码学([1, 3])可能会导致速度变慢。warnings.warn(warning, RequestsDependencyWarning) 要求已经满足:wget in /home/me/anaconda3/lib/python3.5/site-packages (3.2) ----------------- -------------------------------------------------- -------- ImportError Traceback (最近一次调用最后一次) in 4 import yaml 5 get_ipython().system('pip install wget') ----> 6 import wget

ImportError:没有名为“wget”的模块

快速更新:已经安装了 wget 和 fastai 似乎确实存在一些问题。我无法导入,但我可以使用我的 jupyter 笔记本中的模块。所以wget.download(stuff)提出了一个

NameError:名称'wget'未定义错误

!wget.download(stuff)有效。

仍然希望能够导入。但是,有没有办法引用 fastai 基类?现在如果我尝试

我得到:

NameError:未定义名称“LearnerCallback”

我认为这是由于未进口的fastai。我该如何解决这个问题?

0 投票
2 回答
206 浏览

google-dl-platform - 深度学习 VM 无法通过 UI 部署 - 找不到图像资源 - 图像 url 中的错字

我尝试使用带有 GPU 的 TF2.0 部署市场解决方案 Deep Learning VM (Google Click to Deploy)。我通过 UI 来选择区域和其他实例选项。

然而,一旦我部署并进入部署管理器屏幕,我就会看到以下错误:

关键是在该 url 找不到图像资源:

我在 cloud shell 上搜索了可用的图像:

请注意,URL 不同,与部署脚本尝试获取的内容相比,图像名称中有一个额外的“-”:

这看起来像是一个无意的错字。

但我的问题是,我该如何部署这个虚拟机?有没有办法可以在部署之前修改 UI 生成的部署脚本,或者我是否需要通过 CLI 进行整个部署以添加额外的“-”?

有没有办法让我提出这个问题来让别人修复错字?我认为这将阻止任何人尝试使用深度学习 VM 通过 UI 工具部署 TensorFlow 2 GPU 实例。

谢谢你的帮助。

0 投票
1 回答
3271 浏览

google-cloud-platform - gsutil - 查找文件和文件夹

是否有find或类似grep的命令可用于搜索我的 Google 存储桶?

我只能找到ls,但这不是我所需要的。我想搜索包含特定字符串或匹配特定正则表达式的特定文件夹名称和文件名。

0 投票
1 回答
291 浏览

docker - 如何使用深度学习平台发布 VM 映像获取 NVIDIA 驱动程序?

我遇到了需要安装 NVIDIA 驱动程序的问题。

我最初基于此创建了一个计算引擎 VM:

我在此 VM 上部署的代码运行良好。现在我需要在它上面创建一个 REST API 层,所以根据这个,我需要使用 docker 容器化应用程序。

我尝试从以下位置构建我的 docker 映像:gcr.io/deeplearning-platform-release/pytorch-latest-cu100(来自上述命令),但似乎此映像不存在。

然后我尝试从以下位置构建另一个图像:gcr.io/deeplearning-platform-release/pytorch-gpu.1-1

但是现在当我运行我的代码时,出现以下错误:

我的 Dockerfile:

我的 main.py:

如何更新我的 Dockerfile 以便可以使用 Nvidia 驱动程序?

0 投票
2 回答
383 浏览

python-imaging-library - Open WebP images in GCE Deep Learning VM

In python code, I need to process webp images. But when I try to open it with python PIL module, I have an error: OSError: cannot identify image file 'my_image.webp

My Deep Learning image is created from GCP Marketplace VM (tensorflow image), but it seems that webp format is not "activated" at the pillow level.

Is the webp format supported in python by default? What do I need to do/install/import on the VM to be able to open webp images with python PIL?

My python code steps:

0 投票
2 回答
471 浏览

google-cloud-platform - 如何从谷歌 python 客户端启动谷歌深度学习虚拟机?

GCP拥有可在其云计算平台上运行的深度学习 VM。有关图像的详细信息在这里

因此,我正在使用 google python 客户端来启动我的实例,并且可以在此处获得相关文档。现在,指定磁盘和启动映像的方式是通过这个 JSON blob:

现在source_disk_image由一些公共图像的路径指定,例如:

projects/debian-cloud/global/images/family/debian-9或这种类型的一些变体。现在,我的问题是如何指定一些市场图像用于我的实例?

0 投票
0 回答
105 浏览

google-cloud-platform - 访问 GCP 深度学习平台映像的 dockerfile

我正在使用从深度学习容器派生的图像在 AI Platform Notebooks 产品中运行多个任务。为了对我的派生图像进行一些更改,了解父图像的构建方式会非常有帮助,但我无法在任何地方找到实际构建图像的代码(即 Dockerfile)的存储库。有谁知道在哪里可以找到这些?

我显然可以拉起容器注册表,但这并不能帮助我了解图像是如何构建的......

0 投票
1 回答
589 浏览

google-dl-platform - 部署google cloud的dl vm服务后,模板不兼容Python3警告

我使用此处的说明创建了一个新的深度学习虚拟机,但部署完成后我遇到了两个警告。谁能帮我解决这两个警告?

0 投票
2 回答
2868 浏览

google-cloud-platform - GCP(AI Platform Notebook)上的“服务器连接错误”

我在使用 GCP 和 AI 平台(Jupyterlab)时遇到了一些问题,我似乎无法长时间保持与服务器的稳定连接。我不断收到那些“服务器连接错误”消息。从那里有两种可能性:

  • 要么什么都没有发生,我的手机继续运行,要么
  • 单元格已停止运行,我可以看到状态“无内核!' 在笔记本的右上角。每当我再次选择内核(python 3)时,根据我的运气,我可以继续工作,或者单元格将显示运行状态(左侧带有 *),但左下角的内核状态将保持不变:“已连接”(而不是“忙碌”)。对于后者,我需要重新启动内核并再次运行所有单元,这可能会很长。

有时这会在我(重新)启动实例后运行第一个单元格时立即发生,有时会稍晚一些。我能够在没有任何问题的情况下在笔记本上工作的最长稳定时间是 20 到 30 分钟,这很烦人。

我的主实例的配置: - 16 个 CPU - 60gb 的 RAM - P100 NVIDIA GPU

我尝试了不同类型的实例,但我一直遇到同样的问题,家里的网络很稳定。

错误信息