c++ - 如何使用默认令牌拆分保持“不是”之类的单词完整？

Question

在 C++ 中使用斯坦福的TokenScanner课程，我如何保持“不是”之类的单词完整，因为默认标记将其拆分为isn, ', t.

string word = "This isn't me";
TokenScanner scanner(word);
scanner.ignoreWhitespace();
while(true){
    if(!scanner.hasMoreTokens()) break;
    string token = scanner.nextToken();
    cout << token <<endl;
}       

此当前代码显示：

“这个”\n“isn”\n“\'”\n“t”\n“我”\n

作为从令牌中获得的单独单词。

Answer 1

用于scanner.addWordCharacters"'"将单引号添加到单词中接受的字符列表中。