torch - Torch-为什么人们不明确使用激活？

Question

每当我看到在 Torch 中实现的神经网络，nn 时，它们只是将模块连接在一起。例如，有一个带有 LookupTable、Splittable、FasLSTM、Linear、LogSoftMax 的音序器模块。为什么人们不使用介于两者之间的激活函数，例如 tanh/Sigmoid/ReLu？

Answer 1

你有一个例子吗？通常，层间使用 ReLu 或 TanH。

您不会在表格操作函数等之间使用它们，因为它们不是带有参数的“真实”神经网络层。