python - 如何将分割模型模型转换为 openvino int8 模型？

Question

我正在尝试将我的张量流分割模型转换为带有量化的 openvino。我使用 openvino 模型优化器将我的 .pb 模型转换为中间表示。但是如何量化模型。在官方文档中写下使用 DL 工作台来做到这一点。但在工作台中，我只有检测和分类数据集。

我可以在没有数据集的情况下将我的模型转换为 int8，还是可以创建数据集进行分段？

Answer 1

将模型从 FP32 转换为 INT8 的总体流程是：

• 选择 FP32 型号

• 选择合适的数据集

• 运行基线推理

• 配置 INT8 校准设置

• 为校准模型配置推理设置

• 查看 INT8 校准

• 查看推理结果

• 将校准模型与原始 FP32 模型进行比较

只有部分FP32格式的卷积模型可以量化为INT8。如果您的模型不兼容，您将收到一条错误消息。

创建配置的第二阶段是添加示例数据集。您可以导入数据集，自动生成由高斯分布噪声组成的测试数据集，或选择之前上传的数据集。

您可以在以下链接中找到更多详细信息：http: //docs.openvinotoolkit.org/latest/_docs_Workbench_DG_Select_Datasets.html

Answer 2

您可以在此处找到有关 OpenVINO 中低精度推理的更多信息：

1. 一般方法：https ://docs.openvino.ai/latest/openvino_docs_IE_DG_Int8Inference.html
2. 具有默认算法的训练后优化工具 (POT)：https ://docs.openvino.ai/latest/pot_docs_LowPrecisionOptimizationGuide.html#doxid-pot-docs-low-precision-optimization-guide

如果您还有问题，请告诉我。