java - 将文件中的一行拆分为java中的标记

Question

我目前正在逐个读取文件令牌，我想先读取整行，然后将其拆分为令牌。这是我通过令牌阅读的代码的一部分：

public void getNextToken(){
     String temp = input.next();        

     if(temp.equals("$")){
         nextToken = Symbols.ENDOFFILE;
     }
     else if(temp.equals("a")){
         nextToken = Symbols.IDENT;
     }
     else if(temp.equals(";")){
         nextToken = Symbols.SEMICOLON;
     }
     else if(temp.equals("const")){
         nextToken = Symbols.CONSTANT;

Answer 1

Scanner scanner = new Scanner(fileName);
while (scanner.hasNextLine()) {
    String[] tokens = scanner.nextLine().split("\\s");
    //do what you want to do with the tokens
}
scanner.close();

Answer 2

请参阅StringTokenizer：

我正在使用的 Class ctor：

StringTokenizer(String str, String delim)

一个例子：

 StringTokenizer st = new StringTokenizer("this is a test", "$a; ");
 while (st.hasMoreTokens()) {
     System.out.println(st.nextToken());
 }

在这里你可以找到一堆例子。

Answer 3

试试这样：

BuffereReader reader = new BufferedReader(**YourInputStream**);
String line = reader.readLine();

String[] tokens = line.split("\\s");