我正在阅读有关深度学习的论文。其中大多数是指无监督学习。
他们还说神经元是使用无监督 RBM 网络进行预训练的。后来他们使用反向传播算法（监督）进行了微调。
那么我们可以使用深度学习解决监督学习问题吗？
我试图找出是否可以将深度学习应用于文档分类问题。我知道有相当不错的分类器可用。但我的目标是找出我们是否可以为此目的使用深度学习。
问问题
7577 次
6 回答
15
简而言之 - 是的，它可以并且经常以有监督的方式使用。正如 Ben J 所描述的那样——架构的“深度”以无监督的方式使用，以便创建非常抽象的数据表示，以后可以用作预处理层（无微调）或初始化用于神经网络（带有微调，类似于 Hinton）。特别是，您可以将这种方法用于文本。
Hinton 最近发表了一篇关于使用 DBM 对文本文档进行建模的有趣论文：http ://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf
网上有很多可用的资源，特别是pylearn库实现了这样的方法，包括“经典”DBN（深度信念网络）http://deeplearning.net/tutorial/DBN.html
此外，实际上也可以仅使用堆叠的 RBM 进行分类，这种模型称为“分类 RBM”。可以在此处获得更多详细信息：http: //machinelearning.org/archive/icml2008/papers/601.pdf
于 2013-10-29T20:08:54.750 回答
2
深度学习是关于学习未知概念，因此通常用于在数据集中寻找模式。这是无监督的，因为这些模式不一定是先验已知的。然而，在监督学习中，您需要的模式类型很容易以适合您尝试学习的数据的训练模式的形式先验地理解。这些模式成为将模型（例如使用反向传播训练的神经网络）拟合到数据的基础。没有真正发现新概念和组件。所以从这个角度来看，我会说不，深度学习不能应用于解决监督学习问题。
话虽如此，您也许可以使用它在数据中找到有趣的模式。然后，您可以使用这些有趣的模式作为使用标准监督方法进行训练的基础。也许这就是他们在上面所做的，你提到的
“他们还说神经元是使用无监督 RBM 网络进行预训练的。后来它们使用反向传播算法（监督）进行了微调。”
在没有阅读您阅读的内容的情况下，也许他们从无监督算法开始寻找最有趣的数据，并在此过程中执行了一种降维形式，从而使用监督算法生成比原始数据更容易训练的数据。
于 2013-10-29T15:24:30.017 回答
1
除了上面提供的很好的参考之外，Yann Le Cunn 小组的另一篇论文只通过对字符进行编码而不使用任何外部特征提取库来进行文本分类。它只需在字符级别进行编码即可工作。他们声称准确率为 98%。
于 2015-05-18T13:51:18.020 回答
1
是的，一定。实际上，在工业中，深度学习主要用于解决监督问题。RBM 和这种无监督的东西在学术界之外并没有被广泛应用。要了解更多关于深度学习和监督学习的信息，您可以阅读 2012 年之后的论文，从任何与 ImageNet Challenge 相关的内容开始。
这些是深度神经网络的主要里程碑：
于 2018-01-03T06:24:09.080 回答
1
绝对可以，您可以将深度学习用于有监督和无监督学习。例如著名的 CNN 网络用于无监督学习。也许你需要从根本上了解一些关于文本挖掘的知识，以理解对文档进行分类的深度学习模型。我发现这个链接很有趣，我希望对你也有帮助： https ://machinelearningmastery.com/best-practices-document-classification-deep-learning/
于 2019-06-16T04:46:27.343 回答
-1
由于深度学习的基础是神经元，因此 e 只是在神经元中有监督算法，如逻辑回归，这意味着，是的。
于 2021-02-26T06:25:34.637 回答