java - Java如何将令牌转换为字符串？

Question

似乎无法弄清楚如何将令牌（StringTokenizer）转换为字符串。

我有一个 String[] 关键字，我从一个文本文件中读取了多行文本。StringTokenizer 用于将句子切分，，此时我需要将每个 Token（Token 的 String 表示）传递给一个函数进行单词分析。

有没有一种简单的方法可以从令牌中提取字符串值？

任何帮助表示赞赏的家伙....

伟大的帮助，再次感谢！

Answer 1

使用方法nextToken()将令牌作为字符串返回

StringTokenizer st = new StringTokenizer("this is a test");
         while (st.hasMoreTokens()) {
             wordAnalysis(st.nextToken());//sends string to your function
         }

Answer 2

nextToken()在 StringTokenizer 上调用，已经返回一个String. 您无需将其转换String为String.

令牌只是较大字符串的一小部分（字符串）。令牌用于各种形式的处理，需要一个词（词令牌）来区分项目的类别和具体的项目。

For example, every word, period, and comma in this string is a token.

适合以下标记（所有这些都是字符串）：

For 
example
, 
every 
word
,
period
,
and 
comma 
in 
this 
string 
is 
a 
token
.

Answer 3

for(int i = 0; i<stringArray.length; i++) {
    StringTokenizer st = new StringTokenizer(stringArray[i]);
    while(st.hasMoreTokens()) {
       callMyProcessingMethod(st.nextToken());
    }
}

Answer 4

StringTokenizer 现在是 Java 中的遗留类。从 Java 1.4 开始，建议对返回 String[] 的 String 使用 split() 方法。

http://download.oracle.com/javase/1.4.2/docs/api/java/lang/String.html#split(java.lang.String )