问题标签 [gcp-ai-platform-notebook]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
551 浏览

google-cloud-platform - 无法使用 GPU 创建 GCP AI Platform Notebook。它说配额“GPUS_ALL_REGIONS”超出。限制:全局 0.0

我正在尝试使用 GPU 创建一个 GCP AI Platform Notebook。

当我创建笔记本时,它给了我错误:

但是,我已要求增加配额并获得批准。

为什么我仍然看到这个错误?

0 投票
2 回答
1505 浏览

tensorflow - 将 keras 模型导出为 tf savedModel 格式:如何修复 serving_input_fn

我想利用 google 的 AI 平台来部署我的 keras 模型,这要求模型采用 tensorflow SavedModel 格式。我将 keras 模型保存到 tensorflow 估计器模型,然后导出这个估计器模型。我在定义我的serving_input_receiver_fn.

这是我的模型的摘要:

这是我遇到的错误:

下面是我的代码。

似乎我的模型需要一个单一的特征键:(input_49我的神经网络的第一层),但是,例如,从我看到的代码示例中,将serving_receiver_input_fn所有特征的字典输入到我的模型中。

我该如何解决这个问题?

我正在使用 tensorflow==2.0.0-beta1。

0 投票
1 回答
644 浏览

google-cloud-platform - Python 包安装在 GCP 实例上,但当我通过 Jupiter Lab 启动笔记本时未显示

当我在 Jupyter Lab 中启动在 GCP AI Platform Notebook 上运行的笔记本时,尽管已经安装了包,但它无法识别包。

我已经使用 conda 安装了包(RDKit),当我运行时

在终端中没有问题。但是,当我打开笔记本并尝试同一行代码时,我收到一条错误消息,告诉我它找不到模块。

0 投票
1 回答
667 浏览

google-cloud-platform - 无法在 jupyterlab notebook 谷歌云人工智能平台上运行单元

我在 Google AI Platform 下运行 2 个实例,它基本上启动了 2 个 VM 实例来运行 jupyter lab。我一直很高兴在两个虚拟机上制作笔记本。我当天关闭了两个虚拟机...

奇怪的是,第二天早上,来自一个 VM 的笔记本将启动,但是当我运行任何包含“import pandas”之类的简单内容的单元时,它永远不会返回结果并挂起整个事情(带有 * 单元格 # 将生成的位置)。我创建了一个全新的笔记本,然后做一个简单的打印(“你好”)。它也永远不会回来。我重新启动了几次实例,但仍然无法正常工作。我注意到右上角的“点”是黑色的。我认为重新启动内核时它应该是白色的。所以内核可能有问题。

有什么想法会出错吗?我什至不知道在哪里调试这个。奇怪的是另一个虚拟机仍然工作。我不想做任何激烈的事情,比如重新创建一个新的虚拟机,因为我希望能够为一个已知的原因解决这个问题。

有没有人经历过同样的事情?

0 投票
1 回答
419 浏览

machine-learning - 使用 sk-learn 模型进行大查询预测

我在本地机器上创建了一个 sklearn 模型。然后我把它上传到谷歌存储。我使用相同的模型在 AI Platform 中创建了模型和版本。它适用于在线预测。现在我想执行批量预测并将数据存储到大查询中,例如每次执行预测时都会更新大查询表。

有人可以建议我怎么做吗?

0 投票
2 回答
877 浏览

google-cloud-platform - 谷歌云平台提交训练作业,如何从训练代码中读取 USER_ARGS?

我正在使用谷歌云平台提交培训工作

我的训练代码看起来有点像在线教程cloudml-samples中的代码。从打包培训应用程序指南中,我看到您可以通过添加将参数传递给培训作业

但是在任何地方我都能找到如何从培训代码中读取参数。有什么建议么?谢谢

0 投票
1 回答
2098 浏览

tensorflow - Google Cloud AI Platform Notebook Instance 不会将 GPU 与 Jupyter 一起使用

我正在使用预构建的 AI Platform Jupyter Notebook 实例来训练具有单个 Tesla K80 卡的模型。问题是我不相信该模型实际上是在 GPU 上训练的。

nvidia-smi在训练期间返回以下内容:

未找到正在运行的进程

不是“未找到正在运行的进程”,而是“不稳定的 GPU 使用率”是 100%。好像有什么奇怪的...

...而且训练速度非常慢。

几天前,我遇到了每次笔记本运行后 GPU 都没有释放的问题。发生这种情况时,我会收到 OOM(内存不足错误)。这需要我每次进入控制台,找到GPU运行进程PID并在重新运行笔记本之前使用kill -9。但是,今天,我根本无法让 GPU 运行?它从不显示正在运行的进程。

我已经尝试了 2 个不同的 GCP AI Platform Notebook 实例(两个可用的 tensorflow 版本选项),但都没有成功。我是否缺少这些“预建”实例的东西。

预建 AI 平台笔记本部分

澄清一下,我没有构建自己的实例,然后安装对 Jupyter 笔记本的访问权限。相反,我使用了 AI Platform 子菜单下的内置笔记本实例选项。

我是否仍需要在某处配置设置或安装库以继续使用/重置我选择的 GPU?我的印象是虚拟机已经加载了 Nvidia 堆栈,应该是即插即用的 GPU。

想法?

编辑:这是所要求的问题的完整视频-> https://www.youtube.com/watch?v=N5Zx_ZrrtKE&feature=youtu.be

0 投票
2 回答
1087 浏览

google-cloud-platform - 使用自定义 docker 镜像启动 Google Cloud AI Platform Notebooks 的要求

在 AI Platform Notebooks 上,UI允许您选择要启动的自定义图像。如果你这样做,你会看到一个信息框,说容器“必须遵循某些技术要求”:

某些技术要求

我认为这意味着他们有一个必需的入口点、暴露的端口、jupyterlab 启动命令或其他东西,但我找不到任何关于实际要求的文档

我一直在尝试对其进行逆向工程,但运气不佳。我nmap编辑了一个标准实例,看到它打开了端口 8080,但是将我的图像设置CMD为运行 Jupyter Lab0.0.0.0:8080并没有成功。当我在 UI 中单击“打开 JupyterLab”时,我得到一个 504。

有没有人有相关文档的链接,或者过去有这样做的经验?

0 投票
1 回答
1471 浏览

r - 在 R 上安装 TensorFlow

尝试使用 R 内核在 Google Cloud AI Platform notebooks 中通过install_tensorflow安装 TensorFlow:

我跑:

我得到:

0 投票
1 回答
218 浏览

machine-learning - AI Platform (ML Engine) 如何为作业分配资源?

我正在尝试使用 Google 的 AI 平台进行一些实验,并且对此有一些疑问。

基本上,我的项目是按照带有培训任务和单独的批量预测任务的文档构建的。我想了解 AI Platform 如何为我执行的任务分配资源。将其与 Spark、Tensorflow 和 Pytorch 等当前的 SOTA 解决方案进行比较是我产生疑问的地方。

这些引擎/库具有具有专用协调系统的分布式工作人员,并具有所有机器学习算法的单独分布式实现。由于我的任务是使用 ScikitLearn 编写的,由于 sklearn 没有任何此类分布式计算能力,这些计算如何在 AI Platform 提供的集群中并行化?

按照这里的文档。我正在使用的命令,

任何帮助/澄清将不胜感激!