问题标签 [deep-learning]

在 NLP 中使用深度学习时如何获得词向量表示？这些词由一个固定长度的向量表示，有关更多详细信息，请参阅http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf。

我正在尝试总结属于法律领域的文本文档。

我指的是关于如何实现深度学习架构的网站 deeplearning.net。我已经阅读了很多关于文档摘要（单文档和多文档）的研究论文，但我无法弄清楚每个文档的摘要是如何生成的。

训练完成后，网络会在测试阶段稳定下来。因此，即使我知道在训练阶段学习的一组特征（我已经弄清楚了），在测试期间也很难找出每个特征的重要性（因为网络的权重向量是稳定的）我将尝试为每个文档生成摘要的阶段。

我试图弄清楚这一点很长时间，但它是徒劳的。

如果有人对此进行过研究或对此有任何想法，请给我一些指示。我真的很感谢你的帮助。谢谢你。

我正在按照教程使用 Theano 创建卷积神经网络。虽然，我在一段代码中遇到了问题：

我加载了floatX：

并检查：

但是仍然无法加载模块，从文档来看xmatrix应该是在。有人知道我在哪里可以找到它吗？theano.config.floatX

先感谢您！

Do we have a GPU accelerated of version of numpy.max(X, axis=None) in Theano. I looked into the documentation and found theano.tensor.max(X, axis=None), but it is 4-5 times slower than the numpy implementation.

I can assure you, it is not slow because of some bad choice of matrix size. Same matrix under theano.tensor.exp is 40 times faster than its numpy counterpart.

Any suggestions?

在我的 Theano 程序中，我想将张量矩阵分成两部分，每部分对误差函数都有不同的贡献。谁能告诉我自动微分是否支持这一点？

例如，对于一个张量矩阵变量M，我想将其拆分为M1=M[:300,]和M2=M[300:,]，那么代价函数定义为0.5* M1 * w + 0.8*M2 *w。是否仍然可以使用 T.grad(cost,w) 获得梯度？

或者更具体地说，我想构建一个具有不同特征的自动编码器，在总成本中具有不同的权重。

感谢任何回答我问题的人。

Hyperopt 提供了什么样的设置来调整探索与利用之间的平衡？代码中有“bandit”和“bandit_algo”之类的东西，但没有解释。

有人可以提供任何代码示例。

非常感谢您的帮助！

我在使用 Pybrain 训练 DBN 时遇到了一些困难。首先，我尝试以简单的方式做到这一点：

我遇到了这个问题：如何在 PyBrain 中进行有监督的深度信念训练？，而建议的解决方案只是导致了另一个错误：

所以我试图从头开始定义一个网络！

仍然当我运行时：

我看到这个错误：

这与相关 RBM 中的隐藏层有关。

我在这里错过了什么吗？

按照大多数文献中的建议，我将我的数据归一化为零均值和单位方差，以预训练 GB-RBM。但无论我选择什么学习率，无论历元数是多少，我的平均重建误差都不会低于 0.6 左右。堆叠的 BB-RBM 的重建误差在几个时期内很容易下降到 0.01。我已经使用了几个实现 GBRBM 的工具包，如http://www.cs.toronto.edu/~hinton/absps/guideTR.pdf中所述，但都有相同的问题。我是否遗漏了什么，或者重建错误是否意味着保持在 50% 以上？

我通过沿输入向量的每个维度减去均值并除以标准差来标准化我的数据：

大小（mfcc）-> [mlength 行 x 39 列]

这确实给了我沿每个维度的零均值和单位变量。我尝试了不同的数据集、不同的功能和不同的工具包，但我的重建错误从未低于 GBRBM 的 0.6。谢谢

if someone can help on:

1. How to set a timeout for each individual test ? a timeout for the total experiment ?
2. How to setup a progressive strategy which would eliminate/prune a % of worst scoring branches of search space at different stage of the experiment (while using current optimization algorithms) ? ie. at 30% of the max total experiment, it could remove 50% of the worst scoring classifiers and all its branch of hyperparameters to remove it from upcoming tests. Then, same process at 60%...

Thanks a lot!

我正在尝试从 Theano深度学习教程第 8 章修改 Stacked Autoencoder 以进行分类。我正在处理的自动编码器的代码可在此处获得。

我的数据集由 4 个数组组成：test_set_x、test_set_y、valid_set_x、valid_set_y。这些名称是不言自明的。

这是在验证集上检查经过训练的自动编码器的方式：

此代码在我的数据集上打印出“0.87”，因此它确实有效。

表达得更详细

仍然给出正确答案 87%。

但是每当我试图直接获得真实的类预测向量时，我会得到一些非常错误的结果：结果向量的所有元素都等于 4（我的类中的一个）。

我的尝试看起来像这样：

这将打印出“[4, 4, 4, ....., 4, 4]”。将此结果与 valid_set_y 向量进行比较得到大约 12% 的正确性，甚至不到 87%。

我不明白我做错了什么。

如果您曾经与 theano 自动编码器和/或提到的教程打过交道，请帮助我。

谢谢你。