问题标签 [rbm]

我想使用来自 Hinton 论文代码的 RBM 预训练权重作为 MATLAB 原生前馈网络工具箱的权重。任何人都可以帮助我如何设置或安排前馈网络的预训练权重？

例如，我使用了来自http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html的 Hinton 代码

并将预训练的权重用于 matlab 前馈网络。

如何设置或安排 W 使其匹配前馈网络结构？我知道如何使用单个向量，但我担心顺序或权重顺序不正确。

我正在实现一个带整流线性单元的受限玻尔兹曼机。我还没有在任何地方找到一个简单的实现，所以想问一下是否有人会验证设计。

这是CD1的计算：

这就是我计算梯度的方式：

我的问题是，如何将这些分层到 DBN 中？

目的是构建一个自动编码器，但我不知道如何处理可见单位也是第二层中的实数变量。

我已经训练了一个单层、100 个隐藏单元 RBM，其中包含二进制输入单元和隐藏层上的 ReLU 激活。使用包含 50k MNIST 图像的训练集，经过 500 个具有动量和 L1 权重惩罚的全批次训练，我最终在 10k 图像测试集上获得了约 5% 的 RMSE。

看下面的可视化，很明显隐藏单元之间存在很大差异。有些似乎已经融合成一个非常明确的响应模式，而另一些则与噪声无法区分。

我的问题是：您如何解释这种明显的变化，以及什么技术可能有助于实现更平衡的结果？这种情况是否需要更多的正则化、更慢的学习、更长的学习或其他？

100 个隐藏单元的原始权重，重新调整为输入图像大小。

我正在使用 sklearn 库
使用受限玻尔兹曼机（RBM，
sklearn.neural_network.BernoulliRBM）生成数据集的新特征。我使用以下环境：

python 3.5.0 numpy==1.11.1 scikit-learn==0.18

我已经为所有训练数据（373 个样本）尝试了大量迭代（n_iter=6000）和
低学习率（0.0001）。但是，
RBM ​​生成的新特征都是高度
相关的。谁能解释为什么会这样？

下面是一个MWE：

谢谢！

我是代码和 Python 的初学者。我想看看这段代码（RBM）是如何工作的。我尝试从excel输入数据。

但是我在运行时收到此消息。

文件“C:/Users/USER/cx.py”，第 39 行，在火车中

num_examples = data.shape[0]

AttributeError：“str”对象没有属性“shape”

我应该怎么办？

I'm still a beginner, I dont know what the problem.

I get message, what should i do to fix the code?

我正在尝试实现如下所示的简单自动编码器。

输入特征的数量为2，我想构建稀疏自动编码器以降维到特征1。我选择的节点数是2（输入），8（隐藏），1（减少特征），8（隐藏）， 2（输出）比仅使用 (2, 1, 2) 节点增加一些复杂性。样本数 N 约为 10000。“DATA”只是一个包含整数值的 2x10000 矩阵。

我对实施有 2 个问题，因为结果与我预期的完全不同。

1. 这个实现正确吗？变量“reduced_feature”会显示来自 2 个特征输入的缩减特征（1d 特征）吗？

2. 如果我想使用比输入更多的隐藏节点，我应该添加一些稀疏条件吗？如果是的话，你能展示一些这个任务的示例代码吗？

我正在尝试比较一些推荐算法以用于研究目的。我将 sklearn 用于 knn，并将其用于 RBM，但我不知道如何使用RBM 为特定用户提出任何建议。我正在使用从 MovieLens 获取的数据集。

这是代码：

我正在尝试将sklearn.neural_network.BernoulliRBM与 iris 数据集一起使用：

但是，我只得到 1 作为所有行的输出：

我可以像在主成分分析中获得的那样获得类似于单个行的分数的值吗？否则我怎样才能从 RBM 获得一些有用的数字？我试过model.score_samples(dat)了，但这也0为绝大多数行提供了价值。

我有一个带有名称移动电子邮件标题的 csv 文件。我想生成一个元组，其输入为名称、电子邮件或手机，并输出为相应的行号。（输入，输出）元组。