google-cloud-ml - 在具有 GPU 队列的 GC ML 上部署 TF 1.0 永远

Question

我正在使用以下参数：

• scale_tier = 自定义
• master_type = standard_gpu
• worker_count = 0
• ps_count = 0
• runtime_version = 1.0

日志显示消息Job <job_name> is queued.，而不会打印我通常看到的下一条日志消息 ( Waiting for job to be provisioned.)。我的工作被这样卡住了 30 分钟，我已经尝试了两次。

我尝试在没有 GPU 的情况下提交相同的作业（即 scale_tier = BASIC），然后它进入配置阶段并最终完成。

可能会发生什么？

Answer 1

事实证明，这个错误是因为我们用完了 GPU 的配额。当我杀死了一些使用 GPU 的作业时，排队的作业进入了配置阶段。

谢谢！