我有一个简单的烧瓶应用程序，它对发送到端点（比如 /predict）的 post 请求中的数据运行机器学习模型。烧瓶应用程序在生产中使用默认参数的女服务员。由于预测可能需要一段时间，我的应用程序中有一个准备就绪端点，当女服务员任务队列大于某个数字（比如说 5）时，我想用未准备好的 50x 状态代码进行回复。
我需要知道如何获取女服务员任务队列的大小。女服务员确实将“任务队列深度为 94”记录到标准输出，但我找不到以编程方式访问该值的方法。然后，我将使用该数字来决定我的服务器是否准备好响应更多请求，或者我是否需要启动新实例。