1

我正在使用多类 svm（一对一）、3 个类对用户进行分类。在二进制中，我将能够为不同的训练集绘制超计划方程中每个特征的权重分布。在这种情况下，我真的不需要 PCA 来查看超计划的稳定性和特征的相对重要性（减少居中 btw）。多类 svm 中的替代方案是什么，对于每个训练集，您有 3 个分类器，并且您根据三个分类器的结果选择一个类（已经是什么？出现最多次数或更大判别式的类? 在这里并不重要）。任何人都有想法。

如果重要的话，我正在用 Accord 用 C# 编写。谢谢 ！

4

2 回答 2

2

在使用一对一策略的多类 SVM 中，问题被分成一组更小的二元问题。例如，如果您有三个可能的类，则使用一对一策略需要创建(n(n-1))/n 个二元分类器。在您的示例中，这将是

(n(n-1))/n = (3(3-1))/2 = (3*2)/2 = 3

其中每一个都将专门解决以下问题：

  • 区分 1 类和 2 类（我们称之为svm a）。
  • 区分 1 类和 3 类（我们称之为svm b）
  • 区分 2 类和 3 类（我们称之为svm c）

现在，我看到实际上您在原始帖子中提出了多个问题，因此我将分别提出。首先，我将阐明决策过程是如何工作的，然后告诉您如何检测哪些特征是最重要的。

既然您提到了 Accord.NET，那么这个框架可能有两种方式来计算多类决策。默认的是使用决策有向无环图（DDAG），这不过是类的顺序消除。另一种方法是解决所有二元问题并参加大部分时间获胜的课程。您可以在对新样本进行分类时通过设置SVM 计算方法的方法参数来配置它们。

由于赢得最多时间的版本很容易理解，因此我将进一步解释一下默认方法 DDAG。

使用有向无环图的决策

在这个算法中，我们测试每个 SVM 并消除在每一轮中丢失的类。例如，该算法从所有可能的类开始：

Candidate classes: [1, 2, 3]

现在它要求svm a对 x 进行分类，它决定为第 2 类。因此，第 1 类丢失并且在进一步的测试中不再考虑：

Candidate classes: [2, 3]

现在它要求svm b对 x 进行分类，它决定为第 2 类。因此，第 3 类丢失并且在进一步的测试中不再考虑：

Candidate classes: [2]

因此，最终答案是 2。

检测哪些功能最有用

现在，由于一对一 SVM 被分解为 (n(n-1)/2) 个二元问题，分析哪些特征最重要的最直接方法是分别考虑每个二元问题。不幸的是，全局确定哪些对整个问题最重要可能会很棘手，但可以检测哪些最重要以区分 1 类和 2 类、1 类和 3 类或 2 类和 3 类.

但是，如果您使用的是 DDAG，我可以在这里提供一个建议。使用 DDAG，可以提取导致特定决策的决策路径。这意味着在对整个数据库进行分类时，可以估计每个二进制机器使用了多少次。如果您可以估计每个二进制机器的特征的重要性，并估计在数据库中的决策过程中使用机器的次数，也许您可​​以将它们的加权总和作为特征在其中有用程度的指标你的决策过程。

顺便说一句，您可能也有兴趣尝试使用具有高 C 的 L1 正则化来执行稀疏特征选择的逻辑回归支持向量机之一：

// Create a new linear machine
var svm = new SupportVectorMachine(inputs: 2);

// Creates a new instance of the sparse logistic learning algorithm
var smo = new ProbabilisticCoordinateDescent(svm, inputs, outputs)
{
    // Set learning parameters
    Complexity = 100,
};
于 2015-04-10T18:10:54.870 回答
0

我不是 ML 或 SVM 方面的专家。我是一个自学者。然而，我的原型在准确性上优于一些类似的商业或学术软件，而与一些竞争对手的几天和几周（！）相比，训练时间大约为 2 小时。

我的识别系统（生物细胞中的模式）使用以下方法来选择最佳特征：

1）提取特征并计算所有类的均值和方差 2）选择那些类的均值距离最远且方差最小的特征。3）删除冗余特征 - 那些在类上的均值直方图相似的特征

在我的原型中，我使用参数特征，例如带有参数直径、阈值等的特征“圆”。训练由定义哪些特征与哪些参数范围将使用的脚本控制。所以软件会测试所有可能的组合。

对于一些训练时间优化：软件从每个类 5 个实例开始用于提取特征，并在满足第二个条件时增加数量。

某些步骤可能有一些学术名称。不幸的是，我不知道它们，我自己“发明了轮子”。

于 2015-04-10T22:04:40.603 回答