7

我正在使用 Mac OS el capitán，我正在尝试遵循OpenNMT pytorch版本的快速入门教程。在训练步骤中，我收到以下警告消息：

OpenNMT-py/onmt/modules/GlobalAttention.py:177: UserWarning: Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X as an argument. 

align_vectors = self.sm(align.view(batch*targetL, sourceL))
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/torch/nn/modules/container.py:67: UserWarning: Implicit dimension choice for log_softmax has been deprecated. Change the call to include dim=X as an argument.
  input = module(input)

第 1 步：预处理数据（按预期工作）

python preprocess.py -train_src data/src-train.txt -train_tgt data/tgt-train.txt -valid_src data/src-val.txt -valid_tgt data/tgt-val.txt -save_data data/demo

第 2 步：训练模型（产生警告消息）

python train.py -data data/demo -save_model demo-model

有没有人遇到过这个警告或有任何解决方法的指示？

4

2 回答 2

10

在计算交叉熵时，几乎总是需要最后一个维度，因此您的线可能如下所示：

torch.nn.functional.log_softmax(x, -1)
于 2019-07-08T23:28:02.040 回答
6

从警告中可以清楚地看出，您必须明确提及维度，因为 softmax 的隐式维度选择已被弃用。

就我而言，我正在使用log_softmax并且我已经更改了下面的代码行以包含维度。

torch.nn.functional.log_softmax(x) # This throws warning.

改为

torch.nn.functional.log_softmax(x, dim = 1) # This doesn't throw warning.
于 2019-03-05T08:45:51.187 回答