5
def dropout(input, p=0.5, training=True, inplace=False)

就地:如果设置为True,将就地执行此操作。

我想问一下dropout中的in-place是什么意思。它有什么作用?执行这些操作时性能有何变化?

谢谢

4

1 回答 1

11

Keepinginplace=True本身会在张量本身中丢弃一些值input,而如果您 keep inplace=False,您会将结果保存在droput(input)要检索的其他变量中。

例子:

import torch
import torch.nn as nn
inp = torch.tensor([1.0, 2.0, 3, 4, 5])

outplace_dropout = nn.Dropout(p=0.4)
print(inp)
output = outplace_dropout(inp)
print(output)
print(inp) # Notice that the input doesn't get changed here


inplace_droput = nn.Dropout(p=0.4, inplace=True)
inplace_droput(inp)
print(inp) # Notice that the input is changed now

PS:这与您所询问的内容无关,但尽量不要input用作变量名,因为input它是 Python 关键字。我知道 Pytorch 文档也这样做,这很有趣。

于 2019-10-30T13:28:29.103 回答