0

我想实现“错误概率和平均相关系数”的算法。（更多信息第 143 页。这是一种从一组特征中选择未使用特征的算法。据我所知，该算法不限于布尔值特征，但我不知道如何将其用于连续特征。

这是我能找到的关于这个算法的唯一例子：

输入图片描述idfdfdfd

因此，X 是要预测的特征，C 是任何特征。为了计算 C 的错误概率值，他们选择与绿色部分不匹配的值。因此 C 的 PoE 为 (1-7/9) + (1-6/7) = 3/16 = 1875。

因此，我的问题是：我们如何使用连续特征而不是布尔特征来计算 PoE？还是不可能？

4

1 回答 1

1

您描述的算法是一种特征选择算法，类似于前向选择技术。在每一步，我们都会找到一个新的特征 Fi 来最小化这个标准：

weight_1 * ErrorProbability(Fi) + weight_2 * Acc(Fi)

ACC(Fi) 表示特征 Fi 与已选择的其他特征之间的平均相关性。您希望将其最小化，以使您的所有特征不相关，从而有一个条件良好的问题。

ErrorProbability(Fi) 表示特征是否正确描述了您要预测的变量。例如，假设您想根据温度预测明天是否下雨（连续特征）

贝叶斯错误率是（http://en.wikipedia.org/wiki/Bayes_error_rate）：

P = Sum_Ci { Integral_xeHi { P(x|Ci)*P(Ci) } }

在我们的例子中

  • 词属于{多雨; 不下雨}

  • x 是温度的实例

  • Hi 代表将导致 Ci 预测的所有温度。

有趣的是，您可以采用任何您喜欢的预测器。

现在，假设您在一个向量中有所有温度，在另一个向量中有所有状态下雨/不下雨：

为了获得 P(x|Rainy)，请考虑以下值：

temperaturesWhenRainy <- temperatures[which(state=='rainy')]

您接下来应该做的是绘制这些值的直方图。然后，您应该尝试在其上拟合分布。您将有一个 P(x|Rainy) 的参数公式。

如果您的分布是高斯分布，您可以简单地做到这一点：

m <- mean(temperaturesWhenRainy)
s <- sd(temperaturesWhenRainy)

给定一些 x 值，您有 P(x|Rainy) 的概率密度：

p <- dnorm(x, mean = m, sd = s)

您可以对 P(x|Not Rainy) 执行相同的过程。那么 P(Rainy) 和 P(Not Rainy) 很容易计算。

一旦你拥有了所有这些东西，你就可以使用贝叶斯错误率公式，它会产生连续特征的 ErrorProbability。

干杯

于 2013-08-18T13:05:08.893 回答