python - gRPC channel.close() 需要 10 秒

Question

我正在尝试在我的生产服务器中使用以下代码（我想将其扩展到超过 500 TPS）。当我用许多请求淹没服务器时，我面临以下问题。在 1000 个请求中的至少 1 个请求中，channel.close() 调用需要 10-10.5 秒。我在 Flask 服务器上运行代码。目前，对于每个请求，我都在创建一个通道并关闭它。请帮我解决一下这个。

channel = grpc.insecure_channel(serving_address)
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
request = predict_pb2.PredictRequest()
request.model_spec.name = model_name
request.model_spec.signature_name = 'serving_default'
request.inputs['model_2_input'].CopyFrom(
        make_tensor_proto_engine(img_array, dtype=1, shape=[1, 224, 224, 3]))
result = stub.Predict(request, 6.0)
channel.close()