问题标签 [mutual-information]

我的数据框中有 50 个变量。46 个是因变量，4 个是自变量（降水、温度、露水、雪）。我想计算我的因变量与我的独立变量的互信息。

所以最后我想要一个这样的数据框

现在我正在使用以下方法计算它，但这需要很长时间，因为我每次都必须更改我的y

我正在使用互信息来评估建模问题中特征的质量（预测性），就像使用相关性一样。但是我怎么知道什么是好的价值，而不是表明特定功能无用的东西？

我正在尝试实现 MI 算法。这是我的代码：

现在这里是我对 MI 的实现：

我使用了所有的 np，因为我遇到了一些错误。这是输出：

现在，我知道有一些除以零，但我无法弄清楚。谢谢你的帮助！

我在下面给出了一个大小为 13X8 的矩阵（q'）。现在作者计算了这个矩阵中相邻两行的互信息。为了先计算互信息，她通过计算一个元素在矩阵中出现的次数除以矩阵中元素的总数，计算出这个矩阵中每个元素的概率分布。

最后得到概率分布矩阵为

现在，当她根据她计算联合概率时，我的疑问从这一点开始建立。为了计算矩阵 q 中每对元素的联合概率，她考虑了这些对连续出现的次数并将其除以总数矩阵q'中的行数。她计算矩阵Q'中每对相邻行的互信息，即

我们如何计算联合概率矩阵，然后最终计算上面给出的互信息。

我正在尝试使用朴素贝叶斯分类器比较两个特征选择、TF-IDF 和信息增益（互信息）之间的准确性。

对于 Tf-idf 我这样做了：

这就是我使用train_test_split和使用数据框MultinomialNB对其进行分类之前的样子

但我不知道如何为互信息做这件事，因为我从互信息中得到的输出与 tf-idf 不同（上面的例子）。它返回一维数组

那么如何在朴素贝叶斯分类中使用互信息特征选择呢？

到目前为止我所做的是使用 count_vector 来获取特征计数

拆分它

并找到mutual_info_classif

我不知道下一步将其应用于朴素贝叶斯分类器。