我构建了一个客户端,使用 grpc 和 c++ 将一些数据提供给 docker-container 内的模型服务器。
尝试连接时,我收到消息:对等方重置错误 14 连接。
客户端代码:
std::cout << "calling prediction service on " << "localhost:8500"
<< std::endl;
ServingClient sclient(grpc::CreateChannel(
"localhost:8500", grpc::InsecureChannelCredentials()));
std::vector<float> reply = sclient.callPredict(model_name,
model_signature_name, data);
张量流服务命令:
tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=best_model --model_base_path=/models/best_model/
码头集装箱输出:
2019-08-12 13:59:29.851181: I tensorflow_serving/core/loader_harness.cc:86] 成功加载可服务版本 {name: best_model version: 1} 2019-08-12 13:59:29.854813: I tensorflow_serving/model_servers/ server.cc:324] 在 0.0.0.0:8500 处运行 gRPC ModelServer ... [警告] getaddrinfo:不支持节点名的地址族 [evhttp_server.cc:239] RAW:进入事件循环 ... 2019-08-12 13:59:29.858052:我 tensorflow_serving/model_servers/server.cc:344] 在:localhost:8501 导出 HTTP/REST API ...
客户端输出:在本地主机上调用预测服务:8500 Generated Proto Tensor OK gRPC call return code: 14: Connection reset by peer gRPC failed