问题标签 [torchscript]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1145 浏览

pytorch - 使用 _ConvNd 对模块进行 Torchscripting

我正在使用 PyTorch 1.4,需要在以下循环中导出一个带有卷积的模型forward

这给出了以下错误:

我也尝试过预先定义conv' 然后将它们放在里面的列表中__init__,但是 TorchScript 不允许这样的类型:

这反而给出了:

那么如何导出这个模块呢?背景:我正在将混合规模密集网络(源)导出到 TorchScript;虽然nn.Sequential可能适用于这种简化的情况,但实际上我需要在每次迭代中与所有历史卷积输出进行卷积,这不仅仅是链接层。

0 投票
2 回答
570 浏览

android - 如何利用 GPU 在 Android 上运行神经网络模型?

有人尝试在 Android 上运行对象检测或 crnn 模型吗?我尝试运行 crnn 模型(序列化 pytorch),但在华为 P30 lite 上需要 1 秒,在三星 J4 Core 上需要 5 秒。

android 设备中的 GPU 与专用 GPU 不同,因为它们没有 VRAM 和电源管理。CPU 和 GPU 共享相同的 RAM。在使用 GPU 在 PC 上运行模型之前,我们指定将我的计算放在 GPU 上,例如

但是当我尝试在 Android 上运行模型时,它是否利用了这个内置的 GPU?或者由于这款八核处理器,我的华为的计算速度更快,但华为的 GPU 显然比我的三星设备更好。

0 投票
1 回答
2519 浏览

python - 如何在torchscript中使用自定义python对象

我准备将一个pytorch模块转换为ScriptModule,然后在c++中加载它,但是我被这个错误阻止了This attribute exists on the Python module, but we failed to convert Python type: 'Vocab' to a TorchScript type,这Vocab是我定义的一个python对象。演示代码在这里:

错误消息:

那么如何在 torchscript 中使用我自己的 python 对象呢?

0 投票
1 回答
602 浏览

pytorch - 如何使用脚本转换 pytorch 转换器?

我正在尝试编译 pytorch 转换器以在 C++ 中运行它:

但我收到一个错误:

pytorch 变压器模块看起来有问题。

有没有办法在 C++ 中运行 pytorch 转换器?

0 投票
1 回答
1276 浏览

python-decorators - 为什么我不能使用类来对 `torch.jit.script` 装饰器下的函数的参数进行类型注释?

这段代码编译得很好:

但是,如果我取消注释该# @torch.jit.script行,我会收到此错误:

如果我将类型注释更改为int

然后编译再次工作。

有谁知道我需要做什么,以允许我的自定义类定义在类型注释中用于位于torch.jit.script装饰器下的函数的参数?

0 投票
1 回答
1975 浏览

pytorch - torchscript 中的 torch.jit.trace 和 torch.jit.script 有什么区别?

Torchscript 提供了 torch.jit.trace 和 torch.jit.script 将 pytorch 代码从 Eager 模式转换为脚本模式。从文档中,我可以理解 torch.jit.trace 无法处理 python 中存在的控制流和其他数据结构。因此开发了torch.jit.script 来克服torch.jit.trace 中的问题。

但是看起来torch.jit.script 适用于所有情况,那我们为什么需要torch.jit.trace 呢?

请帮助我了解这两种方法之间的区别

0 投票
1 回答
1389 浏览

pytorch - torch.jit.script(module) 与 @torch.jit.script 装饰器

为什么添加装饰器“@torch.jit.script”会导致错误,而我可以在该模块上调用 torch.jit.script,例如这会失败:

虽然以下代码运行良好:

这个问题也出现在PyTorch 论坛上

0 投票
1 回答
715 浏览

torch - 转换 C++ 向量> to torch::tensor

我正在尝试将我的 c++ 向量转换为火炬张量。但是,我的代码返回不正确的转换。

上面的代码返回以下输出:

-9 -3 -3 -12 -0 -0 -12 -2 -3 -12 -0 -0

0 投票
1 回答
108 浏览

c++ - 尝试构建 torchscript 扩展会导致 INVALID TYPE: Only int64_t and bool is supported as an integer argument type 错误

我正在关注torch_script_custom_classes以便在 Python 中公开我的 C++ dll。我目前拥有的大部分代码如下:

这是我使用的 cmake 文件:

我这样称呼cmake:

但我收到以下错误:

这里有什么问题?

0 投票
1 回答
1091 浏览

c++ - 从 c10::Dict 获取值在 Pytorch C++ 中

我在 Pytorch C++ 前端使用 TorchScript 模型。

Python 中的模型将outputdict 返回为 Dict[str, List[torch.Tensor]].

当我在 C++ 中使用它时,它返回一个c10::Dict<c10::IValue, c10::IValue>. 这个 Python 代码的等价物是什么:

在 C++ 中获取价值c10::Dict

我已经尝试过了,但它不起作用。

和错误: