问题标签 [mnist]

我理解 Stacked/Deep Autoencoders 背后的概念，因此想用下面的单层去噪 Autoencoder 代码来实现它。Theano 还提供了 Stacked Autoencoder 的教程，但这是以有监督的方式训练的——我需要将其堆叠以建立无监督（分层）特征学习。

知道如何使用以下代码使其工作吗？

我正在尝试在 Python 中编写几种类型的 ANN 算法，以便更好地理解/直觉这些算法。我没有使用 Scikit-learn 或任何其他现成的软件包，因为我的目标是教育而不是实用。作为一个示例问题，我使用 MNIST 数据库（http://yann.lecun.com/exdb/mnist/）。

虽然我执行了简单的 1 隐藏层 NN 和卷积 NN，但我成功地避免了任何二阶优化方法，因此没有计算 Hessian 矩阵。然而，然后我到了贝叶斯神经网络，为了优化超参数，Hessian 的计算是强制性的。

在我的全连接网络中，有 784 个输入、300 个隐藏单元和 10 个输出单元。所有这些都会产生 238200 个权重（+ 偏差）。当我尝试计算甚至近似 Hessian（通过梯度的外积）时，Python 会通知“MemoryError”。即使我将权重数量减少到 ~40000 并且没有显示错误消息，我的计算机也会在几分钟后卡住。据我了解，问题在于理想的矩阵非常庞大。我浏览了几篇关于贝叶斯神经网络的文章，注意到作者通常使用不超过 10 或 20 个输入和隐藏单元的网络架构，因此参数比我少得多。但是，我没有看到任何关于此类限制的明确声明。

为了将贝叶斯方法应用于 MNIST 的 NN，我该怎么做？

更一般地说：是否可以将贝叶斯方法应用于此（238200 个权重）甚至更大的架构？或者也许它只适用于相对较小的网络？

TensorFlow MNIST 示例未与fully_connected_feed.py 一起运行

我检查了这个并意识到这input_data不是内置的。所以我从这里下载了整个文件夹。如何开始本教程：

我正在使用 iPython (Jupyter)，所以我需要将我的工作目录更改为我下载的这个文件夹吗？或者我可以将它添加到我的tensorflow目录中吗？如果是这样，我在哪里添加文件？我安装tensorflow了pip（在我的 OSX 上），当前位置是~/anaconda/lib/python2.7/site-packages/tensorflow/__init__.py

这些文件是否可以通过tensorflow类似的sklearn数据集直接访问？还是我只是应该 cd 进入目录并从那里工作？例子不清楚。

编辑：

这篇文章非常过时

我查看了MNIST 示例，并注意到当图像的数组被展平为 728 数组时，如果该数组是随机的，这有关系吗？我的意思是 NN 是否考虑了数据的邻接性，或者是否有一个输入节点放置输入编号（因此有 728 个节点）。

我要问的是，如果我像示例中那样使用展平的图像进行训练，我是否会得到相同的网络，就像我随机化 728 数据数组一样？

这是我用来在具有 10 个神经元的单层感知器上使用反向传播算法对 MNist 数据库的手写数字进行分类的代码。数字保存在扩展1的（最后一列中的）整数 2d 矩阵images[60000][785]和中的标签中int tlabels[60000][10]。每个标签1在对应于数字值的位置包含 a ，0在其余部分包含 's（数字是0- 9）。

变量收敛到 0.9 ，这error意味着此代码将所有数字分类到其中一个类中，即使样本在类之间平均分布。代码中是否存在逻辑错误，或者我应该尝试不同的参数集直到结果变得可以接受？

我正在尝试在 Linux 上运行本教程。我安装了gcc, cython, numpy, six.

我可以导入数据，但解包似乎存在某种问题。

任何人都可以帮忙吗？

我对 theano 比较陌生，我想在我的 GPU 上运行 mnist 示例，但我得到以下输出：

它一直输出 DEBUG 消息，没有任何 mnist 输出。我有一个工作版本的 nvcc：

还有我的.theanorc文件：

我该如何解决这个问题？

在网站上：http: //leon.bottou.org/projects/infimnist

它说 ：

生成包含 MNIST8M 训练集的文件： $ infimnist lab 10000 8109999 > mnist8m-labels-idx1-ubyte $ infimnist pat 10000 8109999 > mnist8m-patterns-idx3-ubyte

但是，我不明白为什么它从 10 000 到 8 109 999 即使我这样做：8 109 999 - 10 000 ，它对我来说仍然没有意义。

对我来说，8M 将是 8 000 000 + 9 999，因为我将在 9 999 结束并从 10 000 到 8 009 999 开始，这将是 800 万张图像。

有谁明白为什么它计算为 8 109 999 ？

我正在尝试解析手写数字的 MNIST 数据库。但是，当我查看使用 fread 时它给我的值时，它们是不正确的。我已经改变了字节顺序，但数值仍然不正确。数据库链接在这里：http: //yann.lecun.com/exdb/mnist/

这一切应该做的是打印“幻数”，即 2049 或 0x00000801，但它会打印 529205256，即 0x1F8B0808。我是 C 的新手，总是事先使用 Java。提前致谢！

我想在 Caffe 的 MNIST 数据集上训练CaffeNet。然而，我注意到在100迭代之后损失只是略微下降（从2.66364到2.29882）。

然而，当我在 MNIST 上使用LeNet时，在迭代之后，损失从2.41197到。0.22359100

发生这种情况是因为 CaffeNet 有更多的层，因此需要更多的训练时间来收敛吗？还是因为其他原因？我确保网络的solver.prototxt 是相同的。

虽然我知道 100 次迭代非常短（因为 CaffeNet 通常训练约 300-400k 次迭代），但我觉得奇怪的是 LeNet 能够这么快就得到这么小的损失。