0

在 matlab 中使用贝叶斯分类器时，避免过度拟合和不准确的最佳方法是什么？

我目前正在使用 1000 个样本作为训练数据，其中 750 个是“正常”，250 个是“异常”（一种特定类型）。

有没有人发现其中很大一部分可以训练分类器，或者每个问题都需要特定数量的训练数据。我会假设后者，但我正在努力弄清楚如何提高准确性，我可以使用什么方法。任何例子将不胜感激。

以下是我目前正在使用的示例：

training_data = data;
target_class = Book2(indX,:)

class  = classify(test_data,training_data, target_class, 'diaglinear')
confusionmat(target_class,class)


% Display Results of Naive Bayes Classification
input = target_class;
% find the unique elements in the input
uniqueNames=unique(input)';
% use string comparison ignoring the case
occurrences=strcmpi(input(:,ones(1,length(uniqueNames))),uniqueNames(ones(length(input),1),:));
% count the occurences
counts=sum(occurrences,1);
%pretty printing
for i=1:length(counts)
disp([uniqueNames{i} ': ' num2str(counts(i))])
end

% output matching data
dataSample = fulldata(indX, :)
4

1 回答 1

2

这是一个老问题，但也许从谷歌来到这里的人仍然可以从答案中受益。我没有在 Matlab 中使用 Naive Bayes，但在其他环境中有经验并编写了ruby​​ nbayes gem。您在这里至少有几个问题，所以让我们解开它们。

过度拟合和准确性。 不要购买炒作——朴素贝叶斯肯定容易过度拟合，因此在测量分类器的有效性时确保使用交叉验证。我发现良好的特征选择（例如，删除无用的术语/标记）通常会提高准确性，也有助于减少过度拟合。而且，当然，更多的数据永远不会受到伤害（但如果你已经有很多数据可能无济于事）。

类不平衡问题。 看起来您正在尝试将新实例分类为“正常”或“异常”。通常，您希望类的平衡与现实世界中存在的内容（您正在建模的内容）相匹配。如果您选择不这样做，可能是因为异常实例太少，那么请确保您手动将类的先验分布设置为其实际值。

有关更详细的信息，我强烈推荐斯坦福 IR 书中的摘录：http: //nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

于 2013-06-10T18:48:54.873 回答