0

在为 Google 的 AI 平台开发训练包时，我想使用来自私有 github 存储库的自定义依赖setup.py项（每个都有一个. 使用命令指定这些依赖项的选项有哪些gcloud ai-platform jobs submit training？

我在文档中找到的唯一方法（添加自定义依赖项）是首先为依赖项创建 sdist 和/或 wheel 二进制包（例如dep1.tar.gz和/或dep2.whl），然后使用：

gcloud ai-platform jobs submit training $JOB_NAME \
    --staging-bucket $PACKAGE_STAGING_PATH \
    --package-path /Users/mluser/models/faces/trainer \
    --module-name $MAIN_TRAINER_MODULE \
    --packages /gcp-storage/url/or/path/to/dep1.tar.gz, /gcp-storage/url/or/path/to/dep2.whl \
    --region us-central1 \
    -- \
    --user_first_arg=first_arg_value \
    --user_second_arg=second_arg_value

据我了解，只能使用该--packages选项从本地文件夹或 gcp 存储桶中使用 sdist/wheel 格式的包。

但是，这使得在可编辑/开发模式下本地处理这些依赖项变得很困难，因为它们需要在每次更改后构建（例如），以便为下一次训练运行python setup.py bdist_wheel获取更新的文件。.whl

有没有办法直接指定私有 git repos 的 url（包括私有 repo 所需的凭据）或指定本地源目录？

或者如果我仍然在可编辑/开发模式下使用我的依赖项工作，最好使用自定义容器或在虚拟机中进行训练？

4

0 回答 0