问题标签 [google-cloud-vertex-ai]

如何JSONL在 Google Cloud Bucket 中创建包含文件列表的文件，以便在 Vertex AI 中进行批量预测？到目前为止我所尝试的。

1. 从存储桶中获取文件列表并将其写入 txt 文件 gsutil ls gs://bucket/dir > list.txt
2. 转换list.txt为list.jsonl以下Vertext AI 文档：

创建批量预测后，出现此错误：cannot be parsed as JSONL. 如何更正此JSONL文件的格式？另外，是否可以直接将存储桶中的列表文件导出为JSONL文件格式？

我正在使用以下代码行在 Kubeflow 管道 (KFP) 上指定所需的机器类型和加速器/GPU，我将通过 Vertex AI/Pipelines 以无服务器方式运行。

它也适用于其他 GPU，即 Pascal、Tesla、Volta 卡。

但是，我不能对最新的加速器类型做同样的事情，Tesla A100因为它需要一个特殊的机器类型，它至少是a2-highgpu-1g.

a2-highgpu-1g当我在 Vertex 上运行它时，如何确保这个特定组件将在其之上运行？

如果我只是按照旧 GPU 的方法：

它在运行/部署时引发错误，因为生成的机器类型是通用类型，即 N1-Highmem-*

当我没有指定 cpu 和内存限制时也发生了同样的事情，希望它会根据加速器约束自动选择正确的机器类型。

错误： "NVIDIA_TESLA_A100" is not supported for machine type "n1-highmem-2",

我创建了一个容器映像，并希望将其作为我的 Kubeflow 管道的一部分运行。

我在本地测试了图像并且运行它没有问题：

我尝试使用预构建的组件 [CustomContainerTrainingJobRunOp][1] 在 Kubeflow 中运行它，但失败了。似乎问题出在参数上，因为在 Python 代码中硬编码参数值时没有问题。如何正确传递此组件中的参数？谢谢。

我直接从 Javadocs 中使用了这段代码来删除 VertexAI 训练管道

我得到这个错误。据我所知，这意味着这个 API 虽然有官方文档，但根本没有实现。我们如何使用 Java 删除训练管道？

我想使用自定义训练模型在 Google Cloud 的 vertex.ai 中运行批量预测。通过设置端点，我能够找到使用自定义构建的 docker 映像进行在线预测的文档，但我似乎找不到任何关于 Dockerfile 应该用于批量预测的文档。具体来说，我的自定义代码如何获得输入以及将输出放在哪里？

我找到的文档是here，它看起来当然可以使用自定义模型，当我尝试它时没有抱怨，但最终它确实抛出了一个错误。根据文档，运行批处理作业不需要端点。

我已经编写了一些代码来在 VertexAI 中使用 Google 的 AutoML 训练模型。我的问题的一个细微差别是我需要手动设置测试列车列。该方法的文档 set_test_train_column 说：

我的 test/train 列称为“set”，由三个值组成，即“TEST”、“TRAIN”和“VALIDATE”。此列的 dtype 是 'object'，其中每个单元格都有一个字符串值。我已经包含了“VALIDATE”，因为在 VertexAI 的 automl 部分中训练模型时设置测试/训练列时这是必需的。

实现这一点的代码是：

有人可以帮我理解我是否正确实现了这段代码吗？测试/训练列中的值是否正确写入？我没有使用 pd.Categorical 明确说 test/train 列是分类的，这有关系吗？'VALIDATE' 是否应该包含在测试/训练列中？

谢谢！

我想知道模型中是否可以有多个时间序列标识符列？假设我想在产品和商店级别创建预测（文档建议应该是可能的）。

如果我选择产品作为系列标识符，我留给商店的唯一选项是协变量或属性，并且在这种情况下都不适用。

将产品和商店连接起来并使用该连接 ID 的单个产品和商店代码值作为属性是一种解决方案吗？感觉不对，但我看不到任何其他选择 - 我错过了什么吗？

注意：我了解 Vertex AI 的此功能目前处于预览阶段，因此选项可能会受到限制。

我正在谷歌的 Vertex AI 中运行自定义训练作业。执行自定义作业的简单gcloud命令将使用类似于以下语法的内容（可以在此处查看命令的完整文档）：

在config.yaml文件中，可以指定机器和加速器 (GPU) 类型等，在我的例子中，指向一个自定义容器，该容器位于 Google Artifact Registry 中，该容器执行训练代码（在imageUri部分中指定containerSpec） . 示例配置文件可能如下所示：

我们正在运行的代码需要将一些运行时环境变量（需要安全）传递给容器。在API 文档中containerSpec，它说可以按如下方式设置环境变量：

当我尝试将env标志添加到 时containerSpec，我收到一条错误消息，指出它不是容器规范的一部分：

知道如何使用自定义容器在 Vertex AI 自定义作业中安全地设置运行时环境变量吗？

我正在尝试在顶点 ai 端点中部署我的自定义容器以进行预测。申请内容如下。

1. 烧瓶 - app.py

2. Dockerfile

3. pre_process.py

4. post_process.py

4. 要求.txt

5. 模型

6. 分词器.pkl

我正在关注此博客vertex ai 部署，以获取 gcloud 控制台命令以将模型容器化并将其部署到端点。但是该模型需要很长时间才能部署，最终无法部署。

在本地主机上运行容器后，它按预期运行，但没有部署到顶点 ai 端点。我不明白问题出在flask app.py 还是Dockerfile 中，或者问题出在其他地方。

我在 Vertex AI 上使用 AutoML 创建了一个预测模型。我想使用这个模型每周进行批量预测。有没有办法安排这个？

进行这些预测的数据存储在一个 bigquery 表中，该表每周更新一次。