问题标签 [google-ai-platform]

我在 Google AI Platform 中保存了一个模型，当我在 AI Platform UI 中测试预测时该模型可以工作。

但是，当我尝试通过 REST 访问 API 时，我不断收到带有401状态的响应。我想知道如何成功地做到这一点。

我的 api URL 如下所示：

'https://ml.googleapis.com/v1/projects/ml-project-name/models/my-model-names/versions/v2:predict

我希望能够在驻留在任何平台上的外部应用程序中访问此端点以生成预测。

Google Cloud 建议使用服务帐户授权，但是，它的所有说明都需要设置环境变量，以便应用程序可以自动对您进行身份验证。我更愿意在请求中直接提供它们，以使事情更便携，并与其他地方的工作方式相一致。

因此，我尝试获取 API 密钥。

根据此页面： https ://cloud.google.com/docs/authentication/api-keys您可以通过以下方式对请求进行身份验证：

POST https://language.googleapis.com/v1/documents:analyzeEntities?key=API_KEY

但是，当我运行以下代码时，我的请求状态是401：

任何帮助将不胜感激，谢谢。

我在 Google Cloud 上创建了一个 VM 实例。使用此实例的 GPU，我在 Jupyter 笔记本中的 Google AI Platform 上运行了几个实验。

现在我无法再启动实例了，因为几周后我收到时区资源不足的错误消息。但是，如果不启动实例，我将无法打开 Jupyter 笔记本，因此我无法下载它们，并且我的所有工作和代码目前都不可用。

我知道我可以尝试将实例移动到不同的时区，但这似乎是一个乏味的解决方案。我怎样才能获得那些笔记本？

我使用 Predict 将基于 sklearn 的模型部署到 GCP AI 平台。使用 GCP AI Platform 控制台中的“TEST & USE”选项卡时，我能够成功测试模型。

但是，在使用终端进行测试时，出现错误：

curl -X POST -d '{"instances": [[12.85, 3.27, 2.58, 22.0, 106.0, 1.65, 0.6, 0.6, 0.96, 5.58, 0.87, 2.11, 570.0], [12.08, 1.13, 2.51, 24.0, 78.0, 2.0, 1.58, 0.4, 1.4, 2.2, 1.31, 2.72, 630.0], [12.0, 0.92, 2.0, 19.0, 86.0, 2.42, 2.26, 0.3, 1.43, 2.5, 1.38, 3.12, 278.0]]}' https://ml.googleapis.com/v1/projects/ml_deployment_tutorials/models/sklearn/versions/v1_0:predict\?access_token\=$(gcloud auth application-default print-access-token)

另外，在 Postman 中进行测试时，我遇到了类似的错误：

但是，我确实已经在终端中登录了 gcloud sdk，因为运行时gcloud auth list，我得到了：

服务帐户“ml-deploy@datakademy.iam.gserviceaccount.com”是我刚刚创建的，我下载了密钥文件并export GOOGLE_APPLICATION_CREDENTIALS="/home/george/Documents/datakademy-ml.json"在终端中做了（创建服务帐户时，我还选择了角色“ML Engine Admin” ，还尝试了“所有者”）。这是成功的，因为当我这样做时gcloud auth application-default print-access-token，我在下面得到了这个长字符串：

创建服务帐户后，我也在终端中激活了它：

我目前正在尝试按照https://cloud.google.com/ai-platform/prediction/docs/deploying-models#gcloud_1将自定义模型部署到 AI 平台。它基于来自'Pytorch'和 ' torchvision.transform'的预训练模型的组合。目前，我一直低于错误，这恰好与自定义预测的 500MB 限制有关。

错误：（gcloud.beta.ai-platform.versions.create）创建版本失败。检测到错误的模型错误：模型需要的内存超出了允许的范围。请尝试减小模型大小并重新部署。如果您继续遇到错误，请联系支持人员。

安装程序.py

采取的步骤： 尝试将“torch”和 torchvision 直接添加到 setup.py 文件中的“REQUIRED_PACKAGES”列表中，以便在部署时提供 PyTorch + torchvision 作为要安装的依赖项。我猜，Ai 平台内部为 PyTorch 下载了 +500 MB 的 PyPI 包，这导致我们的模型部署失败。如果我只使用“火炬”部署模型并且它似乎正在工作（当然会因为找不到库“火炬视觉”而引发错误）

文件大小

• pytorch ( torch-1.3.1+cpu-cp37-cp37m-linux_x86_64.whl大约111MB )
• 来自https://download.pytorch.org/whl/torch_stable.html的torchvision ( torchvision-0.4.1+cpu-cp37-cp37m-linux_x86_64.whl大约46MB )并将其存储在 GKS 上。
• 压缩的预测器模型文件（.tar.gz 格式），它是 setup.py ( 5kb )的输出
• 经过训练的 PyTorch 模型（大小44MB）

总的来说，模型依赖项应该小于 250MB，但仍然会出现此错误。还尝试使用 Google 镜像包http://storage.googleapis.com/cloud-ai-pytorch/readme.txt提供的 torch 和 torchvision ，但同样的内存问题仍然存在。人工智能平台对我们来说是相当新的，希望专业人士提供一些意见。

更多信息：

GCP CLI 输入：

我的环境变量：

GCP CLI 输出：

我的发现： 发现有人以同样的方式为 PyTorch 软件包苦苦挣扎，并通过在 GCS 上安装火炬轮使其工作（https://medium.com/searce/deploy-your-own-custom-model-on-gcps -ai-平台- 7e42a5721b43）。已经尝试过使用 torch 和 torchvision 的相同方法，但到目前为止还没有运气，等待“cloudml-feedback@google.com cloudml-feedback@google.com”的回复。在 AI 平台上获得基于自定义 torch_torchvision 的自定义预测器的任何帮助都会很棒。

我想在运行 JupyterLab 笔记本的谷歌虚拟机上包含一个环境变量——这个变量需要在笔记本启动之前存在。

所以在终端或笔记本中设置是行不通的。

我也尝试过修改 bashrc，但没有成功。

执行：

结果是：

在本地运行此成功：

我猜这个问题是关于未在 gcloud 机器上配置的 gitlab 访问令牌，我该如何解决这个问题？

按照本教程，我已成功将模型部署到 AI Platform Predictions 。现在，我想通过 HTTP 请求使用这个模型进行预测。

正如@Ismail 所建议的，我遵循了Method: projects.predict文档。

我正在向https://ml.googleapis.com/v1/projects/${PROJECT_ID}/models/${MODEL_NAME}:predict以下正文发送 POST 请求：

数字是模型的输入。

我收到以下回复：

我使用 RestMan chrome 扩展发送了 POST 请求。我希望能够使用 RestMan 进行预测。

我的问题是：如何验证我的 HTTP POST 请求？我应该在请求的标头中发送一些信息吗？

我正在使用 Google AiPlatform (Unified) Python 客户端将经过训练的模型导出到 Google Cloud 存储桶。我正在遵循以下示例代码：export_model_sample。

该应用程序目前具有“所有者”凭据，因为我想确保它不是权限问题。但是，当我尝试执行示例代码时，出现以下错误：

回溯（最后一次调用）：文件“/usr/local/lib/python3.8/site-packages/google/api_core/grpc_helpers.py”，第 57 行，在 error_remapped_callable return callable_(*args, **kwargs) 文件中“/usr/local/lib/python3.8/site-packages/grpc/_channel.py”，第 923 行，在调用中 返回 _end_unary_response_blocking(state, call, False, None) 文件“/usr/local/lib/python3. 8/site-packages/grpc/_channel.py”，第 826 行，在 _end_unary_response_blocking 中引发 _InactiveRpcError(state) grpc._channel._InactiveRpcError：<_InactiveRpcError of RPC 终止于：status = StatusCode.FAILED_PRECONDITION details =“projects/101010101010/locations/us-central1/models/123123123123123正在为模型导出工件is not supported." debug_error_string = "{"created":"@1611864688.554145696","description":"Error received from peer ipv4:172.217.12.202:443","file":"src/core/lib/surface/call.cc","file_line":1067,"grpc_message":"Exporting artifact for model `projects/110101010101/locations/us-central1/models/123123123123123` in format不支持格式。","grpc_status":9}"

上述异常是以下异常的直接原因：

回溯（最后一次调用）：文件“/app/main.py”，第 667 行，响应 = aiplatform_model_client.export_model(name=name, output_config=output_config) 文件“/usr/local/lib/python3.8/site -packages/google/cloud/aiplatform_v1beta1/services/model_service/client.py”，第 937 行，在 export_model 响应 = rpc（请求，重试 = 重试，超时 = 超时，元数据 = 元数据，）文件“/usr/local/lib /python3.8/site-packages/google/api_core/gapic_v1/method.py”，第 145 行，在调用中 返回 Wrapped_func(*args, **kwargs) 文件“/usr/local/lib/python3.8/site- packages/google/api_core/grpc_helpers.py"，第 59 行，在 error_remapped_callable 中 6.raise_from(exceptions.from_grpc_error(exc), exc) 文件 ""，第 3 行，在 raise_from google.api_core.exceptions.FailedPrecondition 中： 400 为模型导出工件projects/111101010101/locations/us-central1/models/123123123123123123 不支持 `` 格式。

（我省略了项目 id 和模型 id。使用 10101 和 123123）

我已经验证了我的输入，但一切似乎都很好：

我也在使用最新版本的 google-cloud-aiplatform==0.4.0 我要导出的模型类型为：MOBILE_TF_LOW_LATENCY_1

我只想将模型导出到云存储桶。不要将其部署为服务。

谷歌云数据标签服务错误：

• 我正在尝试在 Google 的数据标签服务中创建图像数据集。
• 使用单个图像进行测试。
• 创建了一个名为：my-bucket 的 Google 存储桶
• 将图像上传到 my-bucket - 图像文件名：testcat.png
• 创建并上传了一个 csv 文件 (UTF-8)，其中存储了图像的 URI 路径。
• 存储在 csv 文件中的图像 URI 路径：gs://my-bucket//testcat.png
• 将 csv 文件命名为：testimage.csv
• 上传了gs存储桶-my-bucket中的csv文件。
• 即testimage.csv 和testcat.png 在同一个google 存储桶（my-bucket）中。

当我尝试在谷歌控制台中创建数据集时，GCP 给了我以下错误消息：

** 无法导入数据集 gs://my-bucket/testcat.png 不是有效的 youtube uri 也不是可读的文件路径。**

我已经检查了多次，谷歌中这张图片的 URI 和我使用的完全一样。我已经尝试了至少 10-15 次......错误仍然存​​在。

有人遇到并成功解决了这个问题吗？非常感谢您的帮助。

谢谢！

我正在关注关于创建自定义预测的谷歌文档（https://cloud.google.com/ai-platform/prediction/docs/custom-prediction-routines）。在为模型 AI 平台预测 API 构建新版本时抛出以下错误：

Error Create Version failed. Bad model detected with error: "Failed to load model: User-provided package <>-0.1.tar.gz failed to install: Command '['python-default', '-m', 'pip', 'install', '--target=/tmp/custom_lib', '--no-cache-dir', '-b', '/tmp/pip_builds', '/tmp/custom_code/<>.tar.gz']' returned non-zero exit status 1. (Error code: 0)"

正在本地测试我的 zip 文件

pip install --target=/tmp/custom_lib --no-cache-dir -b /tmp/pip_builds dist/<>

抛出以下错误：

在 mac 终端上运行“python setup.py egg_info”，没有任何有用的弹出。

Python 包：

Packages: ['numpy==1.17.3', 'pandas==1.2.1', 'setuptools==53.0.0', 'Pillow==6.2.1', 'torchvision==0.5.0', 'torch @ https://download.pytorch.org/whl/cpu/torch-1.4.0%2Bcpu-cp37-cp37m-linux_x86_64.whl']

安装程序.py