1

我正在尝试使用 weka 的 java api 创建一个“自动训练”，但我想我做错了什么，每当我使用 MultiLayerPerceptron 和 10 交叉验证或 66% 百分比拆分通过 weka 的界面测试我的 ARFF 文件时，我都会得到一些令人满意的结果（大约 90%），但是当我尝试通过 weka 的 API 测试同一个文件时，每个测试基本上都返回 0% 匹配（每一行都返回 false）

这是 weka 的 gui 的输出：

=== 测试拆分评估 === === 总结 ===

Correctly Classified Instances          78               91.7647 %
Incorrectly Classified Instances         7                8.2353 %
Kappa statistic                          0.8081
Mean absolute error                      0.0817
Root mean squared error                  0.24  
Relative absolute error                 17.742  %
Root relative squared error             51.0603 %
Total Number of Instances               85

=== 按等级划分的详细准确度 ===

                TP Rate   FP Rate   Precision   Recall  F-Measure   ROC Area  Class
                 0.885     0.068      0.852     0.885     0.868      0.958    1
                 0.932     0.115      0.948     0.932     0.94       0.958    0
Weighted Avg.    0.918     0.101      0.919     0.918     0.918      0.958

=== 混淆矩阵 ===

  a  b   <-- classified as
 23  3 |  a = 1
  4 55 |  b = 0

这是我在java上使用的代码（实际上是在.NET上使用IKVM）：

var classifier = new weka.classifiers.functions.MultilayerPerceptron();
classifier.setOptions(weka.core.Utils.splitOptions("-L 0.7 -M 0.3 -N 75 -V 0 -S 0 -E 20 -H a")); //these are the same options (the default options) when the test is run under weka gui

string trainingFile = Properties.Settings.Default.WekaTrainingFile; //the path to the same file I use to test on weka explorer
weka.core.Instances data = null;
data = new weka.core.Instances(new java.io.BufferedReader(new java.io.FileReader(trainingFile))); //loads the file
data.setClassIndex(data.numAttributes() - 1); //set the last column as the class attribute

cl.buildClassifier(data);

var tmp = System.IO.Path.GetTempFileName(); //creates a temp file to create an arff file with a single row with the instance I want to test taken from the arff file loaded previously
using (var f = System.IO.File.CreateText(tmp))
{
    //long code to read data from db and regenerate the line, simulating data coming from the source I really want to test
}

var dataToTest = new weka.core.Instances(new java.io.BufferedReader(new java.io.FileReader(tmp)));
dataToTest.setClassIndex(dataToTest.numAttributes() - 1);

double prediction = 0;

for (int i = 0; i < dataToTest.numInstances(); i++)
{
    weka.core.Instance curr = dataToTest.instance(i);
    weka.core.Instance inst = new weka.core.Instance(data.numAttributes());
    inst.setDataset(data);
    for (int n = 0; n < data.numAttributes(); n++)
    {
        weka.core.Attribute att = dataToTest.attribute(data.attribute(n).name());
        if (att != null)
        {
            if (att.isNominal())
            {
                if ((data.attribute(n).numValues() > 0) && (att.numValues() > 0))
                {
                    String label = curr.stringValue(att);
                    int index = data.attribute(n).indexOfValue(label);
                    if (index != -1)
                        inst.setValue(n, index);
                }
            }
            else if (att.isNumeric())
            {
                inst.setValue(n, curr.value(att));
            }
            else
            {
                throw new InvalidOperationException("Unhandled attribute type!");
            }
        }
    }
    prediction += cl.classifyInstance(inst);
}

//prediction is always 0 here, my ARFF file has two classes: 0 and 1, 92 zeroes and 159 ones

这很有趣，因为如果我将分类器更改为让我们说 NaiveBayes，结果与通过 weka 的 gui 进行的测试相匹配

4

2 回答 2

4

您正在使用一种已弃用的方式来读取 ARFF 文件。请参阅本文档。试试这个：

 import weka.core.converters.ConverterUtils.DataSource;
 ...
 DataSource source = new DataSource("/some/where/data.arff");
 Instances data = source.getDataSet();

请注意，该文档还显示了如何直接连接到数据库，并绕过临时 ARFF 文件的创建。此外，您可以从数据库中读取并手动创建实例来填充 Instances 对象。

最后，如果简单地将代码顶部的分类器类型更改为 NaiveBayes 解决了问题，那么检查你的 weka gui 中的 MultilayerPerceptron 选项，看看它们是否与默认值不同（不同的设置可能导致相同的分类器类型产生不同的结果）。

更新：看起来您在代码中使用的测试数据与在 weka GUI 中使用的测试数据不同（来自数据库与原始训练文件的折叠）；也可能是您的数据库中的特定数据实际上看起来像class 0MLP 分类器。要验证是否是这种情况，您可以使用 weka 接口将您的训练 arff 拆分为训练/测试集，然后在您的代码中重复原始实验。如果结果与 gui 相同，则您的数据有问题。如果结果不同，那么我们需要更仔细地查看代码。您将调用的函数是这个（来自文档）：

public Instances trainCV(int numFolds, int numFold)
于 2012-06-12T21:53:30.697 回答
1

我有同样的问题。

与 Java 中的交叉验证相比，Weka 在 Explorer 中给了我不同的结果。

有帮助的东西：

Instances dataSet = ...;
dataSet.stratify(numOfFolds); // use this
         //before splitting the dataset into train and test set!
于 2014-12-29T18:02:09.327 回答