1

我正在尝试使用 Weka 对未标记的字符串进行分类，我不是数据挖掘方面的专家，所以我一直在为不同的术语而苦苦挣扎。我正在做的是在运行 M5Rules 分类器后提供训练数据并设置未标记的字符串，我实际上得到了一个输出，但我不知道这意味着什么：

run:
{17 1,35 1,64 1,135 1,205 1,214 1,215 1,284 1,288 1,309 1,343 1,461 1,493 1,500 1,552 1,806 -0.038168} | -0.03816793850062397
-0.03816793850062397 -> 

Results
======

Correlation coefficient                  0     
Mean absolute error                      0     
Root mean squared error                  0     
Relative absolute error                  0      %
Root relative squared error              0      %
Total Number of Instances                1     

BUILD SUCCESSFUL (total time: 1 second)

源代码如下：

  public Categorizer(){

    try{

        //***  READ ARRF FILES *///////////////////////////////////////////////////////
        //BufferedReader trainReader = new BufferedReader(new FileReader("c:/Users/Yehia A.Salam/Desktop/dd/training-data.arff"));//File with text examples
        //BufferedReader classifyReader = new BufferedReader(new FileReader("c:/Users/Yehia A.Salam/Desktop/dd/test-data.arff"));//File with text to classify

        // Create trainning data instance
        TextDirectoryLoader loader = new TextDirectoryLoader();
        loader.setDirectory(new File("c:/Users/Yehia A.Salam/Desktop/dd/training-data"));
        Instances dataRaw = loader.getDataSet();

        StringToWordVector filter = new StringToWordVector();
        filter.setInputFormat(dataRaw);
        Instances dataTraining = Filter.useFilter(dataRaw, filter);
        dataTraining.setClassIndex(dataRaw.numAttributes() - 1);

        // Create test data instances
        loader.setDirectory(new File("c:/Users/Yehia A.Salam/Desktop/dd/test-data"));
        dataRaw = loader.getDataSet();
        Instances dataTest = Filter.useFilter(dataRaw, filter);
        dataTest.setClassIndex(dataTest.numAttributes() - 1);


        // Classify
        FilteredClassifier model = new FilteredClassifier();
        model.setFilter(new StringToWordVector());
        model.setClassifier(new M5Rules());
        model.buildClassifier(dataTraining);

        for (int i = 0; i < dataTest.numInstances(); i++) {
             dataTest.instance(i).setClassMissing();
             double cls = model.classifyInstance(dataTest.instance(i));
             dataTest.instance(i).setClassValue(cls);
             System.out.println(dataTest.instance(i).toString() + " | " + cls);
             System.out.println(cls + " -> " + dataTest.instance(i).classAttribute().value((int) cls));

            // evaluate classifier and print some statistics
             Evaluation eval = new Evaluation(dataTraining);
             eval.evaluateModelOnce(cls, dataTest.instance(i));
             System.out.println(eval.toSummaryString("\nResults\n======\n", false));
        }

    }
    catch(FileNotFoundException e){

      System.err.println(e.getMessage());
    }
    catch(IOException i){

      System.err.println(i.getMessage());
    }
     catch(Exception o){

      System.err.println(o.getMessage());
     }
  }

最后是几张截图，以防我在文件夹层次结构中出错： 未标记的字符串 健康类的训练数据 旅行类的训练数据

4

2 回答 2

1

tl;博士：

  • 您将类索引设置为随机特征
  • 您必须使用分类器，而不是回归算法

问题是如何初始化数据集。虽然 weka 通常将类放在最后一列，但 TextDirectoryLoader 不会。其实不用手动设置类索引，已经设置好了，去掉那几行

dataTraining.setClassIndex(dataRaw.numAttributes() - 1);
dataTest.setClassIndex(dataTest.numAttributes() - 1);

（反正第一行是错误的，因为你使用了原始数据集中的属性数量，但是选择了已经过滤的数据集的列。）

如果你然后运行你的代码，你会得到这个：

weka.classifiers.functions.LinearRegression: Cannot handle binary class!

正如我已经猜到的那样，M5Rules 不是分类器，而是用于回归。如果您使用类似J48or的分类器RandomForest，您将获得更合理的输出。换行就好

model.setClassifier(new M5Rules());

至

model.setClassifier(new RandomForest());

至于你的输出，这就是我所做的：

{17 1,35 1,64 1,135 1,205 1,214 1,215 1,284 1,288 1,309 1,343 1,461 1,493 1,500 1,552 1,806 -0.038168} | -0.03816793850062397
-0.03816793850062397 ->

是线条的结果

System.out.println(dataTest.instance(i).toString() + " | " + cls);
System.out.println(cls + " -> " + dataTest.instance(i).classAttribute().value((int) cls));

因此，您会看到实例的特征序列化为稀疏 ARFF，然后|是类。

通常，该类应该是一个整数，但是从M5Rules的文档中我了解到它是回归问题的分类器，因此在您的情况下，您不会得到离散的类，而是连续的值-0.03816793850062397

由于您（错误地）将数字特征设置为类标签，M5Rules 没有抱怨并给您一个输出。如果您使用实际的分类器，您将获得标签“健康”或“旅行”。

其余的是关于分类器性能的标准统计数据，但它们仅对一个分类器实例毫无用处。看起来一个样本被正确分类，所以所有错误都为零。

Correlation coefficient                  0     
Mean absolute error                      0     
Root mean squared error                  0     
Relative absolute error                  0      %
Root relative squared error              0      %
Total Number of Instances                1
于 2013-03-10T15:17:47.503 回答
0

万一其他人在使用 M5P 时遇到同样的错误，请尝试查看 Arff 是否只是一个标题或空的。

否则试试

model.buildClassifier(....)

代替

model.setClassifier(....);

这为我解决了它。

于 2016-01-06T04:30:59.840 回答