问题标签 [google-cloud-ai]

我目前正在运行 AI 平台管道 v0.2.5 的部署。我在 8 天前看到，容器注册表中添加了一个新版本 v0.5.1。这些版本之间有很多更改、修复等，我想更新我当前的部署。有没有一种简单的方法可以做到这一点，而不会丢失我的实验、管道运行等。

我是 tensorflow 的新手，我已将保存的模型提供给 Google AI Platform 模型。但是，我遇到了样本输入数据格式的问题。您能否指导我应该如何根据以下要求的格式格式化数据输入？提前致谢。

要请求在线预测，需要将数据实例作为 JSON 对象输入，如下所示。

下面是 $saved_model_cli --dir path /home/.. --all 输出的一部分。总而言之，我有 12 个数据输入作为字符串值。我应该如何将上述请求格式放在一起，以便模型可以返回预测？谢谢！

我在 Google Cloud Platform 上的 AI 平台上的训练工作似乎正在运行，但没有消耗任何 CPU。该程序不会终止，但在作业首次开始运行时确实会出现一些错误。它们看起来像下面

每个 INFO 消息后跟一个 ERROR 消息，我很困惑这个培训工作发生了什么。谢谢！

以下是一些更详细的错误消息：

我使用谷歌的音素实现示例如下：

我正在使用 Postman 作为 POST 请求发送到https://texttospeech.googleapis.com/v1/text端点。

我注意到，如果我更改了“tomato”这个词，但保留了“ph”的原始值，那么语音音频仍然完全返回了“tomato”这个词。我本来希望语音音频只返回“To”声音。

通过 Postman 发送 JSON 格式的 POST 请求时，我总是转义引号以避免 JSON 解析错误：

任何人都知道为什么Phonemes似乎不起作用？

提前致谢。

我正在尝试使用 scikit-learn 的 MLPClassifier 在 Google 的 AI 平台上编写自定义预测例程。我已经成功打包并部署了模型，但是当我通过 请求在线预测时gcloud ai-platform predict，我得到了错误"error": "Prediction failed: unknown error."然后我去控制台在我的模型的“测试和使用”部分手动测试我的模型并收到相同的错误.

训练向量是具有 6 个元素的 numpy 数组（例如 [1,2,3,4,5,6]），目标是 0、1 或 2。

这是我的 preprocess.py 代码：

这是我的 predictor.py 代码：

这是我训练和导出模型的代码：

设置.py：

我尝试使用如下所示的 input.json 文件提供在线预测

用这个命令

我得到了上面的错误。有人可以帮忙吗？我希望 Google AI Platform 有更多信息丰富的错误消息。

从https://cloud.google.com/document-ai/docs/process-forms，我可以看到一些处理单个文件的示例。但在大多数情况下，公司都有大量文件。在这种情况下，您如何扩展文档 AI 处理？您是否将文档 ai 与 Spark 结合使用？还是有其他方法？

我正在尝试在 GCP 中以编程方式创建“AI 平台笔记本”。gcloud sdk 确实支持管理这些笔记本，但不支持创建它们。并且没有支持 Node.js（我正在使用的语言）的客户端库。但是，此处记录的 GCP REST API 支持创建笔记本。但是，我正在努力弄清楚如何在请求的 JSON 中指定我想要的笔记本。从 GCP 网络用户界面，我想要的设置是：

• 实例名称：“测试实例”
• 地区：“欧洲西部2”
• 区域：“欧洲西部2a”
• 环境：“TensorFlow Enterprise 2.1（采用英特尔® MKL-DNN/MKL）”
• 机器类型：“e2-highmem-2（高效实例，2 个 vCPU，16 GB RAM）”
• 访问 jupyter 实验室：“仅限单用户”
• 用户电子邮件：“firstname.surname@email.com”
• 服务帐户：“team@project.iam.gserviceaccount.com”

但我正在努力将其转换为 REST API 的 JSON 请求。以下是我到目前为止所拥有的。我不确定其中任何一个是否正确，而且我肯定缺少环境（tensorflow 2.1）和仅限单用户访问。除了随机尝试不同的请求直到它起作用之外，我不知道如何实现这一点。（我暂时留下了一些 JSON，只是根据文档指定类型，以供参考）。

我们已经能够将模型（自定义预测和 Tensorflow SavedModel 格式）部署到 AI 预测平台，基本测试表明，这些模型至少可以用于在线预测。我们现在正在尝试在将其投入生产之前进行一些负载测试，并处理一些稳定性问题。

我们看到各种错误 - 429 - “流量速率超过服务容量。减少流量或减小模型的大小” 503 - “上游连接错误或在标头之前断开/重置。重置原因：连接失败” 504 - “等待通知超时。”

我们已经实施了一种指数退避方法，随着时间的推移，它通常可以解决上述问题。但是，我们希望确保我们了解正在发生的事情。

429 看起来很简单 - 等待扩展。

503 / 504 错误，我们不确定原因是什么，以及如何解决/消除。我们玩过批量大小（根据在 Google AI Platform 上提供的 TensorFlow 模型，对实例批量进行在线预测太慢- 似乎它没有对更大的批量进行任何内部优化）、机器大小等。不确定它是否是资源问题，尽管我们在小批量（实例计数）中看到了这些错误。

还有其他人遇到这些问题吗？有什么最佳实践可以推荐吗？谢谢！

我已经在 GCP AI 模型 TF 上部署了 MNIST 数据集，并面临扩展问题。我想知道其他人是否遇到过类似的问题以及他们将如何解决它以扩展它。

行为

1. 如果我每秒创建 3 个请求，模型会在单核上正确给出预测
2. 如果将请求数增加到每秒 1000 个，我会得到“代码”：403、“消息”：“请求的身份验证范围不足。”或 javax.net.ssl.SSLHandshakeException：远程主机终止握手

在另一个模型版本上，我非常确定它正在与 java 客户端一起使用，并且它也可以通过 GCP 测试和使用 UI，但由于我尝试以 1000/秒的速度进行缩放，因此它已经停止工作。这是在 n1-highmem-2 服务器上。它的错误

有几个问题是 tf 为模型服务 gcp ai 与部署在 vm 上时是否有任何优势？谢谢您的帮助

在为部署在 GCP 上的 ML 模型设置 GRPC 时，我需要帮助。我已经部署了模型并希望使用 GRPC 为其提供服务，但找不到任何有关如何执行此操作的文档。有没有人有关于以下的任何信息：-

1. 如何为部署在 ml.googleapis.com 的 TF 服务模型激活 GRPC？
2. 使用授权的 GRPC 服务模型需要哪些步骤？

目前有足够的文档来处理 JSON 请求，但是这些请求变得非常大，我需要一个减小大小的替代方法，这就是为什么需要在上面找到更多文档的原因。现在我收到错误

让我知道您是否需要更多信息。

这是我正在使用的代码