tokenize - 斯坦福 nlp 分词器

Question

如何使用斯坦福解析器标记 Java 类中的字符串？

我只能找到 documentProcessor 和 PTBTokenizer 从外部文件中获取文本的示例。

 DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt");
   for (List sentence : dp) {
    System.out.println(sentence);
  }
  // option #2: By token

   PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"),
          new CoreLabelTokenFactory(), "");
  for (CoreLabel label; ptbt.hasNext(); ) {
    label = (CoreLabel) ptbt.next();
    System.out.println(label);
  }

谢谢。

Answer 1

PTBTokenizer 构造函数需要一个 java.io.Reader，然后你可以使用 StringReader 来解析你的文本