我最近研究了监督学习和无监督学习。从理论上讲,我知道有监督意味着从标记的数据集中获取信息,而无监督意味着在没有给出任何标签的情况下对数据进行聚类。
但是,问题是在我学习期间,我总是对确定给定示例是监督学习还是无监督学习感到困惑。
任何人都可以举一个现实生活中的例子吗?
我最近研究了监督学习和无监督学习。从理论上讲,我知道有监督意味着从标记的数据集中获取信息,而无监督意味着在没有给出任何标签的情况下对数据进行聚类。
但是,问题是在我学习期间,我总是对确定给定示例是监督学习还是无监督学习感到困惑。
任何人都可以举一个现实生活中的例子吗?
监督学习:
例子:
分类:训练机器将某物分类到某个类别。
- 分类患者是否患有疾病
- 分类电子邮件是否为垃圾邮件
回归:机器被训练来预测一些价值,比如价格、体重或身高。
- 预测房屋/房地产价格
- 预测股市价格
无监督学习:
例子:
聚类:聚类问题是您希望发现数据中的固有分组
- 例如按购买行为对客户进行分组
关联:关联规则学习问题是您想要发现描述大部分数据的规则
- 比如买X的人也倾向于买Y
阅读更多:有监督和无监督机器学习算法
监督学习
这很简单,你会做很多次,例如:
根据过去有关垃圾邮件的信息,将新收到的电子邮件过滤到收件箱(普通)或垃圾文件夹(垃圾邮件)
生物识别考勤或 ATM 等系统,您在输入几次(您的生物识别身份 - 无论是拇指、虹膜或耳垂等)后训练机器,机器可以验证您未来的输入并识别您。
无监督学习
一个朋友邀请你参加他的聚会,在那里你会遇到完全陌生的人。现在,您将使用无监督学习(没有先验知识)对它们进行分类,这种分类可以基于性别、年龄组、着装、教育资格或任何您想要的方式。为什么这种学习与监督学习不同?由于您没有使用任何关于人的过去/先验知识并将他们分类为“移动中”。
NASA 发现了新的天体,并发现它们与以前已知的天体不同——恒星、行星、小行星、黑洞等(即它对这些新天体一无所知)并按照它想要的方式对它们进行分类(与银河系的距离,强度,引力,红/蓝移或其他)
假设您以前从未看过板球比赛,偶然在互联网上观看了视频,现在您可以根据不同的标准对球员进行分类:穿着相同球衣的球员属于一个等级,一种风格的球员属于一个等级(击球手、投球手、守场员),或根据手牌(右手与左手)或任何您观察[和分类]的方式。
我们正在进行一项关于预测大学学生智商水平的 500 个问题的调查。由于这个问卷太大,所以在 100 名学生之后,管理部门决定将问卷缩减为更少的问题,为此我们使用一些统计程序(如PCA)来缩减它。
我希望这两个例子能详细解释差异。
监督学习有输入和正确的输出。例如:我们有一个人是否喜欢这部电影的数据。在采访人们并收集他们是否喜欢这部电影的反应的基础上,我们将预测这部电影是否会受到打击。
让我们看一下上面链接中的图片。我去过红圈标记的餐厅。我没有去过的餐厅用蓝色圆圈标记。
现在,如果我有两家餐厅可供选择,A 和 B,标有绿色,我会选择哪一家?
简单的。我们可以将给定的数据线性地分为两部分。这意味着,我们可以画一条线来分隔红色和蓝色的圆圈。请看下面链接中的图片:
现在,我们可以肯定地说,我访问 B 的机会比 A 多。这是一个监督学习的例子。
无监督学习有输入。假设我们有一个出租车司机可以选择接受或拒绝预订。我们在地图上用蓝色圆圈标出了他接受的预订位置,如下所示:
现在,出租车司机有两个订单A和B;他会接受哪一个?如果我们观察该图,我们可以看到他接受的预订在左下角显示了一个集群。如下图所示:
监督学习
监督学习在分类问题中相当普遍,因为目标通常是让计算机学习我们创建的分类系统。再一次,数字识别是分类学习的一个常见例子。更一般地说,分类学习适用于推导分类有用且分类容易确定的任何问题。在某些情况下,如果代理可以自己进行分类,甚至可能没有必要对问题的每个实例进行预先确定的分类。这将是分类上下文中无监督学习的一个例子。
监督学习是训练神经网络和决策树最常用的技术。这两种技术都高度依赖于预先确定的分类给出的信息。在神经网络的情况下,分类用于确定网络的误差,然后调整网络以使其最小化,而在决策树中,分类用于确定哪些属性提供最多可用于解决的信息分类难题。我们将更详细地研究这两个例子,但就目前而言,知道这两个例子都以预先确定的分类形式进行一些“监督”就足够了。
使用隐马尔可夫模型和贝叶斯网络的语音识别也依赖于监督的一些元素,以便像往常一样调整参数以最小化给定输入的错误。
注意这里重要的一点:在分类问题中,学习算法的目标是最小化给定输入的误差。这些输入,通常称为“训练集”,是代理尝试学习的示例。但学好训练集并不一定是最好的事情。例如,如果我试图教你异或,但只向你展示了由一个真和一个假组成的组合,而不是两个假或两个真,你可能会学到答案总是正确的规则。类似地,对于机器学习算法,一个常见的问题是过度拟合数据并从本质上记住训练集,而不是学习更通用的分类技术。
无监督学习
无监督学习似乎要困难得多:目标是让计算机学会如何做我们没有告诉它怎么做的事情!无监督学习实际上有两种方法。第一种方法不是通过给出明确的分类来教代理,而是通过使用某种奖励系统来指示成功。请注意,这种类型的训练通常适合决策问题框架,因为目标不是产生分类,而是做出最大化奖励的决策。这种方法很好地推广到了现实世界,在现实世界中,代理可能会因执行某些操作而获得奖励,并因执行其他操作而受到惩罚。
通常,强化学习的一种形式可用于无监督学习,其中代理将其行为基于先前的奖励和惩罚,而不必了解任何有关其行为影响世界的确切方式的信息。在某种程度上,所有这些信息都是不必要的,因为通过学习奖励函数,代理只需知道要做什么而无需任何处理,因为它知道它期望为它可能采取的每个动作获得的确切奖励。在计算每种可能性都非常耗时(即使世界状态之间的所有转换概率都已知)的情况下,这可能非常有益。另一方面,通过反复试验来学习可能非常耗时。
但是这种学习可能很强大,因为它假设没有预先发现的示例分类。例如,在某些情况下,我们的分类可能不是最好的。一个引人注目的例子是,当一系列通过无监督学习学习的计算机程序(neuro-gammon 和 TD-gammon)变得比仅靠自己下棋的最优秀的人类棋手更强大时,关于西洋双陆棋游戏的传统智慧就被颠覆了。一遍又一遍。这些程序发现了一些令双陆棋专家感到惊讶的原理,并且比在预先分类的示例上训练的双陆棋程序表现更好。
第二种类型的无监督学习称为聚类。在这种类型的学习中,目标不是最大化效用函数,而只是在训练数据中找到相似之处。假设通常是发现的集群将与直观的分类相当匹配。例如,根据人口统计数据对个人进行聚类可能会导致富人聚集在一个群体中,而穷人则聚集在另一个群体中。
监督学习:简单来说,您有某些输入并期望一些输出。例如,您有一个股票市场数据,该数据是以前的数据,并通过给出一些指令来获得未来几年的当前输入结果,它可以为您提供所需的输出。
无监督学习:你有一些参数,比如颜色、类型、大小,并且你想要一个程序来预测它是水果、植物、动物还是其他任何东西,这就是监督的用武之地。它通过获取一些输入。