问题标签 [serving]

我目前正在应对以可扩展的方式为我的 tensorflow 模型提供服务的挑战。据我所知，推荐的解决方案是使用标准的TensorFlow ModelServer。这可以很好地处理常见的要求 - 但我想要更多。我想通过解析像“limit”这样的参数来定义前n个logits +返回的概率来减少传输的数据量。

在我的研究中，我确定了以下解决方案：

1) 在模型构建过程中创建更高级的 SignatureDef。

2)使用上述功能自定义基本的tensorflow/serving项目。

3) 使用标准的 Tensorflow Modelserver 为模型提供服务，并构建一个后处理服务来重构 resp。以预定义的方式过滤结果。

比我更有经验的人可以详细介绍我的问题吗？- 代码片段或链接会很棒。

提前致谢。

我正在使用 tensorflow 估计器模型进行多标签文本分类。进行预测后，我需要为模型提供预测服务，但我没有得到正确的路径。

我尝试了 tensorflow 服务，但没有成功。

我构建了一个客户端，使用 grpc 和 c++ 将一些数据提供给 docker-container 内的模型服务器。

尝试连接时，我收到消息：对等方重置错误 14 连接。

客户端代码：

张量流服务命令：

tensorflow_model_server --port=8500 --rest_api_port=8501 --model_name=best_model --model_base_path=/models/best_model/

码头集装箱输出：

2019-08-12 13:59:29.851181: I tensorflow_serving/core/loader_harness.cc:86] 成功加载可服务版本 {name: best_model version: 1} 2019-08-12 13:59:29.854813: I tensorflow_serving/model_servers/ server.cc:324] 在 0.0.0.0:8500 处运行 gRPC ModelServer ... [警告] getaddrinfo：不支持节点名的地址族 [evhttp_server.cc：239] RAW：进入事件循环 ... 2019-08-12 13:59:29.858052：我 tensorflow_serving/model_servers/server.cc:344] 在：localhost:8501 导出 HTTP/REST API ...

客户端输出：在本地主机上调用预测服务：8500 Generated Proto Tensor OK gRPC call return code: 14: Connection reset by peer gRPC failed

我需要向登录用户提供静态内容（主要是图像），但这些图像不能公开。

客户端有基本的 JWT 授权。这些客户端有图像，但这些图像必须是私有的（只有拥有它们的用户才能访问它们）。

我的图像由我的第二个 Node.js 服务器提供，其工作方式类似于 CDN（缓存、无标头等...）

我正在考虑在这样的 URL 中发送我的 JWT：http://static.example.com/image.jpg?token=jwtjwtjwtkwtjwt，但是我的 JWT 很长而且不安全，因为如果用户共享 URL 来图像他也分享他的智威汤逊。

时间序列数据是在一个 kafka 主题中生成的。我需要读取每条记录并使用数据库中的一些数据进行装饰，并最终调用 REST API。收到响应后，输出到 kafka 主题。如何使用 kafka 流 API 高效且可扩展地做到这一点？

脚步 -

• 开始阅读输入主题
• 调用 mapvalues 进行数据库调用并用附加数据装饰记录
• 使用输入请求进行 REST api 调用，获取响应。
• 输出kafka topic中的记录

我认为，上述算法有两个瓶颈 -

• 进行数据库调用会减慢速度。这可以通过缓存元数据并在存在错误或使用状态存储时加载元数据来规避。

• 同步调用 REST API 会减慢速度。

如果数据库调用或 REST API 需要更长的时间来完成，上面的代码将对吞吐量产生依赖性和不利影响。具有相同键的记录不应乱序处理。预计吞吐量约为 1m/分钟。当一条记录到达 REST API 时，可以同时进行数据库调用。

不确定如何编写可以在这种情况下扩展的拓扑。我是卡夫卡流的新手。

为什么我的 heroku 应用程序正在提供应用程序目录？此目录及其文件不应像您在图片中看到的那样出现。应该只显示静态目录。我使用 rimraf npm 包删除源映射（.map 文件），当我使用serve -s build命令时它在 localhost 上正常工作，它只显示静态目录。但是，当我使用 heroku/nodejs buildpack 将我的文件部署到 heroku 时，它会提供图片中的文件。需要注意的重要一点：我只使用创建反应应用程序，不使用任何 http 服务器，如 express.js

@edit 好的，我知道问题出在哪里。在我使用的本地主机上serve -s build，它只提供构建目录。app当我在 localhost 上使用 npm start 时，它会build在 heroku 上提供服务。因为我npm start在heroku上使用。但是如何切换这个命令来服务呢？尝试用它替换启动脚本，"start": "serve -s build"但它仅适用于本地主机。

下面是我如何训练 XGBClassifier 并保存它：

这就是我加载模型并进行预测的方式

如果模型是从执行训练的同一 python 进程中加载​​的，则模型预测是好的，但如果模型是从与用于训练的不同的 python 进程加载的，则预测不正确（随机）。

model.save_model请注意，如果使用和model.load_model代替泡菜，我也会遇到同样的问题。

我所做的简单检查表明模型已正确保存和加载；model._Booster（通过获得）的转储model._Booster.dump_model(some_file)和loaded_model._Booster是相同的。

Python版本：3.7.5

xgboost 版本：尝试了 0.80 和 0.90

任何建议表示赞赏。

我对 Tensorflow 训练后量化过程感到困惑。官网参考Tensorflow Lite Quantization。不幸的是，这在我的情况下不起作用，也就是说，TFLiteConverter我的 Mask RCNN 模型返回错误：

基本上，我已经尝试了所有可用的选项，TFLiteConverter包括实验选项。我对这些错误并不感到惊讶，因为不支持移动设备的 decodejpeg 可能是有意义的，但是，我希望我的模型由 Tensorflow Serving 提供服务，因此我不知道为什么 Tensorflow Lite 是官方选择为了。我也尝试过似乎已弃用的Graph Transform Tool ，并发现了 2 个问题。首先，不可能用 bfloat16 或 float16 量化，只有 int8。其次，量化模型因错误而中断：

在常规模型中什么不是问题。

此外，值得一提的是，我的模型最初是使用 Tensorflow 1.x 构建的，然后通过tensorflow.compat.v1.

这个问题占用了我大量的时间。我会很感激任何提示。

我创建了一个神经网络回归模型，我希望使用 AWS 来部署它。我正在使用 tensorflow 服务，并且已经保存了模型。

现在我正在尝试使用 Docker 在 Windows 10 home 上使用 Docker 将其部署在容器中作为示例，我尝试使用多个教程，但是当涉及到这个命令时，无论我做什么，它都不起作用我：

每次我改变一些东西，我都会得到一个不同的错误。我完全不知所措。请指导我阅读一些简单但对像我这样的新手来说完整的教程。我已经阅读了 TensorFlow 文档，但错误仍然存​​在。自从我被困了大约一个月以来，任何帮助都会让我非常感激。

我是服务器端编程的新手。我正在尝试在身份验证后提供 HTML 文件（mapview.html），但它 没有出现 任何错误。认证过程没有问题。我希望当我单击登录按钮时，代码会检查 req 数据并在验证后弹出 mapview.html但没有任何反应。 res.sendFile() 导致 jquery 部分，console.log(res)，让我在 chrome 的控制台行中获取所有 html 代码。

文件目录：

索引.html

用户.js

index.js