5

在规则系统或任何通过前向链接推理规则推断事实的推理系统中,您将如何修剪“不必要的”分支?我不确定正式术语是什么,但我只是想了解人们在推理问题时如何能够限制他们的思路,而我见过的所有语义推理者似乎都无法做到这一点。

例如,在 John McCarthy 的论文An Example for Natural Language Understanding and the AI Problems It Raises中,他描述了让程序智能地回答有关纽约时报新闻文章的问题的潜在问题。在第 4 节“非单调推理的必要性”中,他讨论了在推理故事时使用奥卡姆雷蛇来限制事实的包含。他使用的示例故事是关于抢劫家具店老板的强盗。

如果要求程序在谓词演算中形成故事的“最小完成”,它可能需要包括原始故事中未直接提及的事实。但是,它还需要某种方式知道何时限制其推论链,以免包含不相关的细节。例如,它可能希望包含参与此案的确切警察人数,但文章省略了这一点,但它不想包含每个警察都有一位母亲的事实。

4

1 回答 1

2

好问题。

根据您的问题,我认为您所说的“修剪”是事前执行的模型构建步骤——即,限制算法可用于构建模型的输入。机器学习中使用的“剪枝”一词指的是不同的东西——在模型构建之后的事后步骤,它对模型本身而不是可用输入进行操作。(在 ML 领域中,“剪枝”一词可能还有第二个含义,但我不知道。)换句话说,剪枝确实是一种“限制其演绎链”的技术,如你说的,但它是事后这样做的,通过切除完整(工作)模型的组件,

另一方面,隔离或限制可用于模型构建的输入(我认为您可能已经想到了)确实是机器学习的一个关键主题;它显然是许多最新 ML 算法的卓越性能的一个因素——例如,支持向量机(支持向量机的基础是仅从一小部分数据构建最大边距超平面,即'支持向量')和多自适应回归样条曲线(一种回归技术,其中不尝试通过“通过它绘制一条连续曲线”来拟合数据,而是拟合数据的离散部分,一个一,对每个部分使用有界线性方程,即“样条线”,

剪枝解决了什么问题?

至少 w/r/t 我实际编码和使用过的特定 ML 算法——决策树、MARS 和神经网络——修剪是在最初的过拟合模型上执行的(该模型非常适合训练数据,以至于它无法泛化(准确预测新实例)。在每个实例中,剪枝都涉及一一去除边缘节点(DT、NN)或回归方程(MARS)中的项。

其次,为什么修剪是必要的/可取的?

准确地设置收敛/分裂标准不是更好吗?这并不总是有帮助。“自下而上”的修剪工作;该模型是自上而下构建的,因此调整模型(以实现与修剪相同的好处)不仅消除了一个或多个决策节点,还消除了子节点(例如修剪靠近树干的树)。因此,消除边缘节点也可能消除从属于该边缘节点的一个或多个强节点——但建模者永远不会知道这一点,因为他/她的调整消除了在该边缘节点处进一步创建节点。修剪从另一个方向进行——从最从属(最低级别)的子节点向上沿着根节点的方向进行。

于 2010-03-30T10:27:08.443 回答