问题标签 [intel-lpot]

我正在试用英特尔® 低精度优化工具。

我应该在这个 common.Model 中输入什么，具体是什么类型的对象？

quantizer.model = common.Model('../models/saved_model')

我指的是以下链接https://github.com/intel/lpot

环境：Tensorflow 2.4、Intel-Tensorflow 2.4

据我所知，pb格式的Tensorflow模型可以加载到ML.NET上。

但是，我使用的是一个量化包 LPOT（https://github.com/intel/lpot），它利用了英特尔优化的 Tensorflow（https://github.com/Intel-tensorflow/tensorflow）。尽管 Intel-Tensorflow 是基于 Tensorflow 构建的，但它使用了一些在 Tensorflow 上没有注册 OpKernel 的量化操作（例如，在 TF 上不推荐使用“QuantizedMatmulWithBiasAndDequantize”）。因此，如果不安装 Intel-Tensorflow，量化模型无法在原生 Tensorflow 环境下运行。

我的目标是在 ML.NET 上运行这个量化的 pb Intel-Tensorflow 模型，有人知道 ML.NET 上是否支持 Intel-Tensorflow 吗？或者有没有其他方法可以做到这一点？

非常感谢任何帮助/建议。

我试图在我的 linux 机器上使用 LPOT 量化一个训练有素的模型。通过以下链接

https://github.com/intel/lpot/tree/master/examples/helloworld/tf_example1

我在 conf.yaml 文件中指定了数据集路径，之后我尝试量化模型，但最终出现以下错误。

ValueError：在 --root 匹配中找不到文件：/home/u77217/.keras/datasets/fashion-mnist/ - -of- *

数据集文件夹包含以下文件：

• t10k-images-idx3-ubyte.gz
• t10k-labels-idx1-ubyte.gz
• 火车图像-idx3-ubyte.gz
• 火车标签-idx1-ubyte.gz

我的 conf.yaml 文件看起来像这样

我正在尝试英特尔低精度优化工具，我正在关注这个 github（https://github.com/intel/lpot/tree/master/examples/tensorflow/object_detection）。当我运行如下量化命令时

我收到以下错误。

请帮忙！

我正在关注 lpot 的这个 github（https://github.com/intel/lpot/tree/master/examples/tensorflow/object_detection），在下载数据集的第 5 步中，我收到以下错误。无法继续。

提前致谢。

我能够使用 Intel lpot（神经压缩器）成功地量化用于拥抱面部文本分类的 pytorch 模型

现在我的机器中有原始的 fp32 模型和量化的 int8 模型。为了推断，我用下面的代码加载了量化的 lpot 模型

我能够看到各种时间的改进，但我想确认模型权重是否已实际量化并使用 int8、fp16 等数据类型，理想情况下这应该是加速的原因。我遍历模型权重并打印权重的 dtypes，但我看到所有权重都是 fp32 类型

输出

如何验证我的 pytorch 模型是否已被量化？

我在 Linux 中试用英特尔低精度优化工具。最初，我创建了一个名为 lpot_environment 的环境并使用以下命令安装了 tensorflow：

然后我将 github 存储库克隆为：

我下载了冷冻模型。

作为迈向 intel lpot 的第一步，我想使用一个虚拟数据加载器运行。但我没能找到一个。

如果有人使用 intel lpot 中的虚拟数据集发送代码示例，那就太好了。

在张量流模型中尝试英特尔低精度优化工具时，出现一些值错误。

请在下面找到我尝试过的命令：

通过运行，我收到以下错误：

将 pycocotools._mask 导入为 _mask 文件“pycocotools/_mask.pyx”，第 1 行，在 init pycocotools._mask ValueError: numpy.ndarray size changed，可能表示二进制不兼容。预期来自 C 标头的 88，从 PyObject 获得 80

提供我遵循的 git hub 链接： https ://github.com/intel/neural-compressor/tree/master/examples/tensorflow/object_detection

我正在尝试使用神经压缩器（intel LPOT）来减小我在 pytorch 中实现的 CNN 模型的大小。我打算做蒸馏

以下是用于提取模型的代码。

我想将损失函数更改为不同的损失函数，即我需要提供一个我在 pytorch 中实现的自定义损失函数。目前我在神经压缩器中看到我可以通过向 distiller.criterion 提供参数来改变教师和学生的损失函数，即

我认为这是可行的，因为 KullbackLeiblerDivergence 和交叉熵损失在神经压缩器中可用，有什么方法可以提供我的自定义损失函数distiller.criterion吗？