machine-learning - bagging/boosting 使用元音 wabbit

Question

我如何在带有 SVM 的 vowpal wabbit 中使用 bagging 或 boosting。

我目前的结果是 90% 的召回率和 10% 的准确率。

vw -d train.dat -c compressed --passes 10 --oaa 3 -f train.model --loss_function hinge

我想使用 bagging/boosting 来提高精度

Answer 1

用于提升使用--boosting N（最近添加，所以使用来自 GitHub 的 VW）。对于装袋，使用--bootstrap M. 请参阅Vowpal Wabbit 上的梯度提升。

我看不到如何定义召回率和精度以将其分类为 3 类。现在让我们假设，您有一个标准的二元分类（有两个类别：正面和负面），并且您想要优化 F1 分数（准确率和召回率的调和平均值）并且您的准确率=10%，召回率=90%。因此，只有 10% 的正面预测示例是真正正面的。（这可能是由于数据不平衡或测试数据中正例与训练数据的比例不同造成的。）在这种情况下，我建议增加负例的重要性权重（参见VW wiki上的 [Importance]）（或降低正面例子的重要性）。