我有一个使用 StreamTokenizer 的非常简单的标记器,它将数学表达式转换为它们的单独组件(如下)。我遇到的问题是,如果表达式中有一个名为 T_1 的变量,它将拆分为 [T,_,1],我想将其返回为 [T_1]。
我尝试使用变量来检查最后一个字符是否为下划线,如果是,则将下划线附加到 list.Size-1 上,但这似乎是一个非常笨拙且效率低下的解决方案。有没有办法做到这一点?谢谢!
StreamTokenizer tokenizer = new StreamTokenizer(new StringReader(s));
tokenizer.ordinaryChar('-'); // Don't parse minus as part of numbers.
tokenizer.ordinaryChar('/'); // Don't parse slash as part of numbers.
List<String> tokBuf = new ArrayList<String>();
while (tokenizer.nextToken() != StreamTokenizer.TT_EOF) //While not the end of file
{
switch (tokenizer.ttype) //Switch based on the type of token
{
case StreamTokenizer.TT_NUMBER: //Number
tokBuf.add(String.valueOf(tokenizer.nval));
break;
case StreamTokenizer.TT_WORD: //Word
tokBuf.add(tokenizer.sval);
break;
case '_':
tokBuf.add(tokBuf.size()-1, tokenizer.sval);
break;
default: //Operator
tokBuf.add(String.valueOf((char) tokenizer.ttype));
}
}
return tokBuf;