machine-learning - 版本空间中的假设总数

Question

我对机器学习有疑问..

在查看任何训练示例之前，版本空间的大小是多少。考虑我有 10 个属性，并且我使用约束的结合作为表示。属性有两个值，每个值“是”或“否”。

Answer 1

如果您有 K 个类，那么版本空间只是将所有可能的属性值拆分为 K 个不相交子集的可能数量。

在你的情况下：

• 10个属性
• 每个属性 2 个可能的值
• 有 2^10=1024 个可能的点
• 有 K^1024 种可能的假设（您可以将它们视为使用 K 值之一标记每个点）。

例如，对于二进制情况 K=2，我们在版本空间中有 2^1024 个假设。

如果您只考虑可能假设的子集（通过对其表示施加一些限制），那么这个数字会更小，但对实际数字的分析将需要深入了解您的受限制假设的“表现力”如何。