问题标签 [torchscript]

我目前有一个通过torch.jit.load. 我想获取一些我拥有的数据并在这些权重之上进行训练，但是我不知道如何训练序列化的 torchscript 模型。

我第一次以与本教程相同的方式完成了 PyTorch 模块的量化和脚本化过程：https ://leimao.github.io/blog/PyTorch-Static-Quantization/

教程代码运行良好，但是当我将它翻译成我自己的编码器解码器模块时，我看到了一些奇怪的行为。所以这里有一些相关的代码：

我得到的输出是：

看起来很合理，但这是我注意到的问题：

1. 在挂钟时间，这qj_latency条线运行了大约 17 秒。我将其缩小到measure_inference_latency未包含在最后报告的时间中的预热步骤。当我在热身中添加进度条时，我注意到大部分时间都在第一步。TorchScript 模块需要很长的预热时间吗？
2. 有一次我的整台电脑刚刚关闭（Ubuntu 20.04.2 LTS）。

我知道我没有提供完整的代码，但首先我想知道是否有一个我不知道的明显答案。

我在尝试使用 Sphinx 记录自定义 PyTorch 模型时遇到问题：在文档中显示 jit 编译的方法没有文档字符串。我该如何解决？我签出了Python Sphinx autodoc 和 decorated members以及How to autodoc decorators with sphinx? 但建议的解决方案似乎不起作用。当我尝试使用时，..automethod我得到

这是一个 MWE；目前，我通过编写 amy_forward并在forward.

新手问题。我一直在尝试将这个 PyTorch 模型转换为 CoreML 模型。我已按照此处的指南进行操作，但无法使其正常工作。我尝试了跟踪和编写脚本，但遇到的错误提示可能存在 TorchScript 不支持的操作：

错误torch.jit.trace：RuntimeError: PyTorch convert function for op 'pythonop' not implemented

错误torch.jit.script：RuntimeError: Python builtin <built-in method apply of FunctionMeta object at 0x7fa37e2ad600> is currently not supported in Torchscript

我怀疑可能无法将任何 PyTorch 模型转换为 CoreML 模型。是这样吗？我可以在不深入研究 PyTorch 操作和层的情况下以某种方式克服错误吗？

我的python脚本以防万一（模型在本地加载）：

背景

我正在使用经过微调的Mbart50模型，我需要加快推理速度，因为在我当前的硬件中按原样使用 HuggingFace 模型相当慢。我想使用TorchScript，因为我无法让onnx导出这个特定的模型，因为它似乎会在以后得到支持（否则我会很高兴错了）。

将 Transformer 转换为 Pytorch 跟踪：

推理步骤：

预期的编码输出：

这些是可以使用 MBart50TokenizerFast 解码为单词的标记。

实际输出：

我不知道这是什么...print(encode)

如何准确找到 PyTorch 模型图中存在的节点，以及它们的输入？我试图torch._C.Graph使用

给出了以下输出

但是我无法迭代或找到其中存在的节点或它具有的输入的确切内容。建议是否有其他方式来执行上述操作。

是否可以将脚本模块转换为使用虚拟输入张量进行跟踪。用于构建模型和保存脚本模块。

然后为了推断，我在想要跟踪脚本模块的地方尝试了这段代码。

引发以下警告：

有没有办法将创建的脚本模块转换torch.jit.script为跟踪的脚本模块？

使用代码创建模型后

我正在从其脚本中保存脚本模块

保存的模型稍后将被使用，我需要通过示例输入找到它的跟踪。有什么办法吗？当我尝试这样做时，

以下被抛出，

我一直在尝试将在python上开发的pytorch模型集成到IOS中。我看过的例子来自这个github repo。

我在自己的应用程序中使用了相同的 d2go 模型。我注意到的一件事是，如果模型推理代码未包装在 DispatchQueue 全局中，如下所示

我收到一个错误，Thread 1: EXC_BAD_ACCESS (code=1, address=0x7ffeeb4e0000)或者如果我的模型运行推理的时间太长，即使它包含在上面的 dispatchQueue 代码中，我也会收到类似Thread 4: EXC_BAD_ACCESS (code=1, address=0x7ff159bed010).

我不确定线程​​在这种情况下是如何工作的。在新的 SwiftUI 框架中按下按钮时，我正在运行代码。

关于为什么会发生这种情况的任何直觉？我在模拟器上试过以上

torch.jit.trace我有一个使用函数导出的 PyTorch 模型。我想将它容器化，并且我想了解使它工作的最低点子要求是什么。我的目标是获得一个纤薄的 Docker 镜像。具体来说，在我看来，我需要安装整个torch软件包。这个对吗？是否有其他方法来部署 TorchScript 模型/PyTorch 模型，这会导致更小的 Docker 映像（即可以避免安装整个torch包）？