问题标签 [autoencoder]

自编码器网络似乎比普通的分类器 MLP 网络要复杂得多。在使用Lasagne进行了几次尝试之后，我在重建输出中得到的所有结果都类似于MNIST数据库的所有图像的模糊平均，而不区分输入数字的实际含义。

我选择的网络结构是以下级联层：

1. 输入层 (28x28)
2. 2D 卷积层，滤波器大小 7x7
3. 最大池化层，大小 3x3，步幅 2x2
4. 密集（全连接）扁平化层，10 个单元（这是瓶颈）
5. 密集（全连接）层，121 个单元
6. 将图层重塑为 11x11
7. 2D 卷积层，滤波器大小 3x3
8. 2D 放大层因子 2
9. 2D 卷积层，滤波器大小 3x3
10. 2D 放大层因子 2
11. 2D 卷积层，滤波器大小 5x5
12. 特征最大池化（从 31x28x28 到 28x28）

所有 2D 卷积层都具有未绑定的偏差、sigmoid 激活和 31 个过滤器。

所有全连接层都有 sigmoid 激活。

使用的损失函数是平方误差，更新函数是adagrad。学习块的长度是 100 个样本，乘以 1000 个 epoch。

为了完整起见，以下是我使用的代码：

关于如何改进这个网络以获得功能合理的自动编码器的任何想法？

我理解 Stacked/Deep Autoencoders 背后的概念，因此想用下面的单层去噪 Autoencoder 代码来实现它。Theano 还提供了 Stacked Autoencoder 的教程，但这是以有监督的方式训练的——我需要将其堆叠以建立无监督（分层）特征学习。

知道如何使用以下代码使其工作吗？

我正在做基于医疗保健的项目。我将用症状和疾病训练我的自动编码器，即我的输入是文本形式的。那会奏效吗？（我正在使用 Rstudio）。请任何人帮助我

我已经使用 lasagne/nolearn 训练了一个自动编码器。假设网络层是 [500, 100, 100, 500]。我已经像这样训练了神经网络：

我想做如下的事情：

所以我会得到我的数据的抑制表示。因此，如果我的初始数据的形状为 [10000, 500]，则结果数据将为 [10000, 100]。

我搜索但找不到如何做到这一点。烤宽面条/nolearn可以吗？

我正在尝试使用此示例来训练文本数据，将其标记为正面或负面。但我不明白什么输入应该是训练功能的输入。在 test_sda 函数中，它有一些矩阵，如：train_X、train_Y、test_X、test_Y 和一些变量：train_N、test_N。我不知道这些是什么意思。

就我而言，我使用 SDA 来构建越南情绪分类，请指导我应该为 SDA 输入哪些数据。

非常感谢。

我目前想知道何时停止深度自动编码器的训练，尤其是当它似乎陷入局部最小值时。

是否有必要让训练标准（例如 MSE）达到例如 0.000001 并强制它完美地重建输入，或者是否可以根据使用的数据集保持差异（例如，当 MSE 大约为 0.5 时停止）。

我知道更好的重建可能会导致更好的分类结果，但是何时停止有“经验法则”吗？我对没有启发式特征的规则特别感兴趣，例如“如果 MSE 在 x 次迭代中没有变小”。

我正在使用自动编码器进行无监督学习。我在想[在测试时]跳过一个输入是否会影响输出准确性，因为我的输入都是标称的和数字的。它是否能够保持输入之间学习到的关系并在没有一个输入的情况下准确预测？

到目前为止，我读过的许多论文都提到了“预训练网络可以提高反向传播误差方面的计算效率”，并且可以使用 RBM 或自动编码器来实现。

1. 如果我理解正确，自动编码器通过学习恒等函数来工作，如果它的隐藏单元小于输入数据的大小，那么它也会进行压缩，但这与提高传播错误的计算效率有什么关系向后信号？是因为预训练隐藏单元的权重与其初始值相差不大吗？

2. Assuming data scientists who are reading this would by theirselves know already that AutoEncoders take inputs as target values since they are learning identity function, which is regarded as unsupervised learning, but can such method be applied to Convolutional Neural Networks for which the first hidden layer is feature map? Each feature map is created by convolving a learned kernel with a receptive field in the image. This learned kernel, how could this be obtained by pre-training (unsupervised fashion)?

这是我的代码：

X 具有形状 (537621, 256)。我正在尝试找到一种方法将大小为 256 的向量压缩到 100，然后再压缩到 70，然后再压缩到 50。我所做的是千层面，但在 Keras 中，使用自动编码器似乎更容易。

这是输出：

纪元 1/500 537621/537621 [==============================] - 27s - 损失：0.1339 - acc: 0.0036
纪元2/500 537621/537621 [===============================] - 32s - 损失：0.1339 - acc: 0.0036
Epoch 3 /500 252336/537621 [=============>.......] - ETA：14s - 损失：0.1339 - acc：0.0035

它一直这样继续下去..

我使用 Autoencoder 对数据进行预训练，为此我将输入数据归一化并传递给 Autoencoder。结果，自动编码器最终会减少特征的数量。

现在我想将自动编码器的输出用于预测任务。为此，我想将自动编码器的输出传递到一个完全馈送的网络中。

我的问题是在将数据传递到完全馈送网络之前是否需要再次规范化数据？