在查看了pytorch的文档后,我找不到带有动量的GroupNorm模块,只有一个不使用它的实现(这对我来说没用,因为我想使用AdaBN或AdaGN我应该说) .
因此,我的想法是采用BatchNorm类并使用num_groups对其进行扩展,并通过首先将输入重新整形并将通道分组在一起来覆盖实际计算均值和方差的方法,从而模拟 GroupNorm 行为。
为了做到这一点,我查看了源代码,直到在torch.nn.functional.batch_norm中发现了死胡同。该函数在内部调用另一个函数torch.batch_norm(...)
,但我找不到它的源代码。
你知道去哪里找那个零件吗?还是您认为有更好的方法来实现这一点?我尝试在网上寻找其他人的作品,但我只找到了未完成的作品。