5

我正在尝试为 maxent 分类器创建 java 实现。我需要将句子分类为n不同的类别。

我查看了 stanford maxent 分类器中的 ColumnDataClassifier。但我无法理解如何创建训练数据。我需要训练数据形式的训练数据，其中训练数据包括句子单词的 POS 标签，以便用于分类器的特征就像上一个单词、下一个单词等。

我正在寻找包含带有 POS TAGGING 的句子和提到的句子类的训练数据。例子 ：

我/(POS) 姓名/(POS) 是/(POS) XYZ/(POS) CLASS

任何帮助将不胜感激。

4

1 回答 1

2

如果我理解正确，您正在尝试将句子视为一组 POS 标签。

在您的示例中，句子“我的名字是 XYZ”将表示为一组 (PRP$, NN, VBZ, NNP)。这意味着，每个句子实际上是长度为 37 的二进制向量（因为根据此页面有36 个可能的 POS 标签+ 整个句子的 CLASS 结果特征）

这可以为 OpenNLP Maxent 编码如下：

PRP$=1 NN=1 VBZ=1 NNP=1 CLASS=SomeClassOfYours1

或者简单地说：

PRP$ NN VBZ NNP CLASS=SomeClassOfYours1

（有关工作代码片段，请参阅我的答案：Training models using openNLP maxent）

更多示例数据将是：

  1. “到了 1978 年，无线电城已经失去了它的魅力，洛克菲勒中心的业主决定拆除老旧的大厅。”
  2. “随着时间的推移，他被完全遗忘了，他的许多建筑被拆除，其他的则被麻木地改变了。”
  3. “她一搬出去，移动房屋就被拆了，诉讼说。”
  4. ...

这将产生样本：

IN CD NNP VBD VBN PRP$ NN CC DT NNS IN TO VB VBG CLASS=SomeClassOfYours2
IN NN PRP VBD RB VBN JJ IN PRP$ NNS CLASS=SomeClassOfYours3
IN RB PRP VBD RP DT JJ NN VBN NN CLASS=SomeClassOfYours2
...

但是，我不认为这样的分类会产生好的结果。最好利用句子的其他结构特征，例如可以使用例如Stanford parser获得的解析树或依赖树。

28.3.2016 编辑： 您也可以使用整个句子作为训练样本。但是，请注意： - 两个句子可能包含相同的单词但具有不同的含义 - 过度拟合的可能性非常高 - 你应该使用短句 - 你需要一个庞大的训练集

根据您的示例，我将对训练样本进行如下编码：

class=CLASS My_PRP name_NN is_VBZ XYZ_NNP
...

请注意，结果变量是每行的第一个元素。

这是一个使用opennlp-maxent-3.0.3.jar.

package my.maxent;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.zip.GZIPInputStream;

import opennlp.maxent.GIS;
import opennlp.maxent.io.GISModelReader;
import opennlp.maxent.io.SuffixSensitiveGISModelWriter;
import opennlp.model.AbstractModel;
import opennlp.model.AbstractModelWriter;
import opennlp.model.DataIndexer;
import opennlp.model.DataReader;
import opennlp.model.FileEventStream;
import opennlp.model.MaxentModel;
import opennlp.model.OnePassDataIndexer;
import opennlp.model.PlainTextFileDataReader;

public class MaxentTest {


    public static void main(String[] args) throws IOException {

        String trainingFileName = "training-file.txt";
        String modelFileName = "trained-model.maxent.gz";

        // Training a model from data stored in a file.
        // The training file contains one training sample per line.
        DataIndexer indexer = new OnePassDataIndexer( new FileEventStream(trainingFileName)); 
        MaxentModel trainedMaxentModel = GIS.trainModel(100, indexer); // 100 iterations

        // Storing the trained model into a file for later use (gzipped)
        File outFile = new File(modelFileName);
        AbstractModelWriter writer = new SuffixSensitiveGISModelWriter((AbstractModel) trainedMaxentModel, outFile);
        writer.persist();

        // Loading the gzipped model from a file
        FileInputStream inputStream = new FileInputStream(modelFileName);
        InputStream decodedInputStream = new GZIPInputStream(inputStream);
        DataReader modelReader = new PlainTextFileDataReader(decodedInputStream);
        MaxentModel loadedMaxentModel = new GISModelReader(modelReader).getModel();

        // Now predicting the outcome using the loaded model
        String[] context = {"is_VBZ", "Gaby_NNP"};
        double[] outcomeProbs = loadedMaxentModel.eval(context);

        String outcome = loadedMaxentModel.getBestOutcome(outcomeProbs);
        System.out.println("=======================================");
        System.out.println(outcome);
        System.out.println("=======================================");
    }

}

以及一些虚拟训练数据（存储为training-file.txt）：

class=Male      My_PRP name_NN is_VBZ John_NNP
class=Male      My_PRP name_NN is_VBZ Peter_NNP
class=Female    My_PRP name_NN is_VBZ Anna_NNP
class=Female    My_PRP name_NN is_VBZ Gaby_NNP

这会产生以下输出：

Indexing events using cutoff of 0
Computing event counts...  done. 4 events
Indexing...  done.
Sorting and merging events... done. Reduced 4 events to 4.
Done indexing.
Incorporating indexed data for training...  
done.
    Number of Event Tokens: 4
        Number of Outcomes: 2
      Number of Predicates: 7
...done.
Computing model parameters ...
Performing 100 iterations.
  1:  ... loglikelihood=-2.772588722239781  0.5
  2:  ... loglikelihood=-2.4410105407571203 1.0
      ...
 99:  ... loglikelihood=-0.16111520541752372    1.0
100:  ... loglikelihood=-0.15953272940719138    1.0
=======================================
class=Female
=======================================
于 2016-03-23T16:14:19.270 回答