mlflow - 使用“mlflow models serve”CLI 为 MLflow 模型提供服务时，如何设置自定义 gunicorn worker 超时？

Question

当使用“pyfunc”后端 ( https://github.com/mlflow/mlflow/blob/master/mlflow/pyfunc/backend.py ) 为 MLflow Python 模型提供服务时，如何设置自定义 gunicorn worker 超时？当为需要很长时间加载的大型模型提供服务时，默认的 60 秒超时可能不够。

Answer 1

从 MLflow 1.2 开始，您可以通过指定GUNICORN_CMD_ARGS环境变量来设置自定义 gunicorn 超时。以下示例为工作人员超时为 120 秒的模型提供服务

GUNICORN_CMD_ARGS="--timeout 120" mlflow models serve --model-uri /path/to/model