问题标签 [pytorch]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
7445 浏览

deep-learning - PyTorch 中带有 Sequential 模块的简单 LSTM

在 PyTorch 中,我们可以通过多种方式定义架构。在这里,我想使用该Sequential模块创建一个简单的 LSTM 网络。

在 Lua 的火炬中,我通常会选择:

但是,在 PyTorch 中,我找不到SelectTable获得最后一个输出的等价物。

0 投票
1 回答
5811 浏览

neural-network - PyTorch:如何将 CNN 中预训练的 FC 层转换为 Conv 层

我想在 Pytorch 中将预训练的 CNN(如 VGG-16)转换为全卷积网络。我该怎么做?

0 投票
1 回答
1197 浏览

deep-learning - pytorch autograd 是如何工作的?

我将此作为问题提交给cycleGAN pytorch implementation,但由于那里没有人回复我,我会在这里再次询问。

我主要对在一次向后传递之前调用多次向前传递这一事实感到困惑,请参见代码cycle_gan_model中的以下内容

在我看来,G_A 和 G_B 每个都有三个前向传递,两次接受真实数据(real_Areal_B),两次接受假数据(fake_Bfake_A)。

在张量流(我认为)中,向后传递总是根据最后一个输入数据计算。在这种情况下, 的反向传播loss_G将是错误的。相反,应该做三次向后传球,每次都紧跟在他们涉及的向前传球之后。

具体来说,netG_A的梯度来自loss_G_Awrtreal_A但其梯度来自loss_cycle_Bwrt fake_A

我认为这在 pytorch 中以某种方式得到了解决。但是模型如何知道它应该计算梯度的输入数据呢?

0 投票
2 回答
7120 浏览

pytorch - PyTorch 中文本输入的卷积神经网络

我正在尝试使用 CNN实现文本分类模型。据我所知,对于文本数据,我们应该使用 1d Convolutions。我在 pytorch 中看到了一个使用 Conv2d 的示例,但我想知道如何将 Conv1d 应用于文本?或者,实际上不可能?

这是我的模型场景:

因此,我将提供形状张量 <16, 1, 28, 300>,其中 28 是句子的长度。我想使用 Conv1d,它将为我提供 128 个长度为 26 的特征图(因为我正在考虑三元组)。

我不确定如何为此设置定义 nn.Conv1d() 。我可以使用 Conv2d 但想知道是否可以使用 Conv1d 实现相同的效果?

0 投票
2 回答
906 浏览

pytorch - OverflowError: (34, 'Numerical result out of range') in PyTorch

I am getting the following error (see the stacktrace) when I ran my code in a different GPU (Tesla K-20, cuda 7.5 installed, 6GB memory). Code works fine if I run in GeForce 1080 or Titan X GPU.

Stacktrace:

So, what can be the reason to get such error in a different GPU (Tesla K-20) while it works fine in GeForce or Titan X GPU? Moreover what the error means? Is it related to memory overflow which I don't think so.

0 投票
1 回答
5143 浏览

pytorch - KeyError:'state_dict 中的意外键“module.encoder.embedding.weight”'

尝试加载保存的模型时出现以下错误。

KeyError: 'unexpected key "module.encoder.embedding.weight" in state_dict'

这是我用来加载已保存模型的功能。

该模型是一个序列到序列的网络,其初始化函数(构造函数)如下所示。

当我打印模型(序列到序列网络)时,我得到以下信息。

因此,module.encoder.embedding是一个嵌入层,并module.encoder.embedding.weight表示相关的权重矩阵。那么,为什么它说unexpected key "module.encoder.embedding.weight" in state_dict-?

0 投票
4 回答
28321 浏览

python - Pytorch 模型的超参数优化

为 Pytorch 模型执行超参数优化的最佳方法是什么?自己实施例如随机搜索?使用 Skicit 学习?或者还有什么我不知道的?

0 投票
1 回答
2403 浏览

variables - pytorch中的向后,grad函数

我正在尝试在 pytorch 中实现向后的 grad 函数。

但是,我不知道为什么会返回这个值。

这是我的代码。

我认为结果值应该是 [[6,8],[10,12]]

因为 dz/dx= 2*(x+2) 和 x=1,2,3,4

但返回值为 [[7,9],[11,13]]

为什么会这样。我想知道梯度,grad函数是怎么做的。

请帮帮我..

0 投票
1 回答
2655 浏览

python - 为什么应该只在 1 个元素张量上或使用渐变到变量时调用函数?

我是pytorch的新手。我想了解为什么我们不能对包含尺寸为 say [2,2] 的张量的变量调用后向函数。如果我们确实想在一个包含尺寸为 say [2,2] 的张量的变量上调用它,我们必须首先定义一个梯度张量,然后在包含该张量的变量上调用定义的梯度的后向函数.

0 投票
5 回答
10444 浏览

tensorflow - tf.space_to_depth() 如何在张量流中工作?

我是 pytorch 用户。我在 tensorflow 中有一个预训练模型,我想将它转移到 pytorch 中。在模型架构的一部分中,我的意思是在 tensorflow 定义的模型中,有一个函数tf.space_to_depth将输入大小 (None, 38,38,64) 转换为 (None, 19,19, 256)。( https://www.tensorflow.org/api_docs/python/tf/space_to_depth ) 是这个函数的文档。但我无法理解这个函数实际上是做什么的。您能否提供一些 numpy 代码来为我说明?

实际上,我想在 pytorch 中制作一个完全相同的图层。

tensorflow 中的一些代码揭示了另一个秘密:这里有一些代码:

这是输出:

正如您在上面看到的,除了数据整形之外,张量值也发生了变化!