我正在尝试将 MaskRCNN 模型部署到 GCP AI 平台。默认在线预测对我不起作用,因为我的输入大小大于允许的限制。所以,我决定继续使用自定义预测路线。
关于自定义预测,我尝试使用比默认提供的更大的机器类型,因为我的模型很大并且需要比默认模型 (mls1-c1-m2) 提供的更多的内存。
我想使用 n1-standard-4 机器类型部署模型,以下是我正在运行的命令:
gcloud beta ai-platform versions create $VERSION_NAME --model $MODEL_NAME --runtime-version 1.14 --python-version 3.5 --origin $MODEL_DIR --package-uris gs://pred_02/staging/my_custom_code-0.1.tar.gz --framework tensorflow --prediction-class predictor.MyPredictor --machine-type n1-standard-4
但这会引发错误:
ERROR: (gcloud.beta.ai-platform.versions.create) FAILED_PRECONDITION: Machine type n1-standard-4 only support FRAMEWORK_TENSORFLOW
我也尝试了 --framework arg 的不同变体,但它们都抛出了一些类似的错误。那么,为什么会抛出这个错误呢?
如果这可行,那么我的想法是将此机器类型与 k80 加速器一起使用。这将是我的第二个问题?我可以使用加速器运行它以进行自定义预测吗?