matlab - 堆叠稀疏自动编码器参数

Question

我使用 MATLAB 研究堆叠稀疏自动编码器。谁能建议堆叠稀疏自动编码器参数应采用哪些值：
L2 权重正则化（Lambda）稀疏正则化（Beta）稀疏比例（Rho）。

Answer 1

重要的是要意识到超参数没有明显的值。最佳值会有所不同，具体取决于您要建模的数据：您必须在数据上尝试它们。

来自sparseAutoencoder 的Lambda (λ) 是权重衰减项的系数，它阻止权重达到较大的值，因为它可能会过拟合。权重衰减项（或权重正则化项）是成本函数的一部分，如下面解释的稀疏项。

Rho (ρ) 是控制隐藏层平均激活次数的稀疏约束。包含它是为了使自动编码器即使在相对于输入单元具有相对大量隐藏单元的情况下也能工作。例如，如果输入大小为 100，隐藏大小为 100 或更大（甚至更小但接近 100），则可以构造输出而不会丢失任何内容，因为隐藏单元可以学习恒等函数。Beta (β) 是稀疏项的系数，稀疏项是成本函数的一部分。它控制稀疏项的相对重要性。Lambda 和 Beta 指定了它们的术语在成本函数中的相对重要性。

示例：您可以在此示例中获取战利品，其中参数值的选择如下。

sparsityParam = 0.1;   % desired average activation of the hidden units.
                       % (This was denoted by the Greek alphabet rho, which looks like a lower-case "p",
                       %  in the lecture notes). 
lambda = 3e-3;         % weight decay parameter       
beta = 3;              % weight of sparsity penalty term

但再一次，我想让你记住，超参数没有明显的值。