考虑如下所示的一批 4 个预处理句子(标记化、数字化和填充):
batch = torch.tensor([
[1, 2, 0, 0],
[4, 0, 0, 0],
[3, 5, 6, 7]
])
令牌的0
状态。[PAD]
因此,生成与在位置分配零并将一个分配给其他输入数据(句子标记)padding masking
相同形状的张量的有效方法是什么?batch
[PAD]
在上面的示例中,它将类似于:
padding_masking=
tensor([
[1, 1, 0, 0],
[1, 0, 0, 0],
[1, 1, 1, 1]
])