1

我正在使用针对 java 的 ANTLR 3.x 创建一个解析器。我编写了解析器语法（用于创建抽象语法树，AST）和树语法（用于在 AST 上执行操作）。最后，为了测试这两个语法文件，我用 Java 编写了一个测试文件。

看看下面的代码，

协议语法

grammar protocol;
options {
      language = Java;
  output = AST;
}

tokens{ //imaginary tokens
PROT;
INITIALP;
PROC;
TRANSITIONS;
}
@header {
import twoprocess.Configuration;
package com.javadude.antlr3.x.tutorial;
}

@lexer::header {
  package com.javadude.antlr3.x.tutorial;
}
/*
parser rules, in lowercase letters
*/
program
    : declaration+
    ;
declaration
    :protocol
    |initialprocess
    |process
    |transitions
    ;

protocol
    :'protocol' ID ';' -> ^(PROT ID)
    ;
initialprocess
    :'pin' '=' INT ';' -> ^(INITIALP INT)
    ;
process
    :'p' '=' INT ';' -> ^(PROC INT)
    ;
transitions
    :'transitions' '=' INT ('(' INT ',' INT ')') + ';' -> ^(TRANSITIONS INT INT INT*)
    ;

/*
lexer rules (tokens), in upper case letters
*/
ID  
    : (('a'..'z' | 'A'..'Z'|'_')('a'..'z' | 'A'..'Z'|'0'..'9'|'_'))*;
INT 
    : ('0'..'9')+;
WHITESPACE
    : ('\t' | ' ' | '\r' | '\n' | '\u000C')+ {$channel = HIDDEN;};

协议行者

grammar protocolWalker;

options {
  language = Java;
  //Error, eclipse can't access tokenVocab named protocol
  tokenVocab = protocol;    //import tokens from protocol.g i.e, from protocol.tokens file
  ASTLabelType = CommonTree;
  }

@header {
import twoprocess.Configuration;
package com.javadude.antlr3.x.tutorial;
}

program
    : declaration+
    ;

declaration
    :protocol
    |initialprocess
    |process
    |transitions
    ;

protocol
    :^(PROT ID)
    {System.out.println("create protocol " +$ID.text);}
    ;

initialprocess
    :^(INITIALP INT)
    {System.out.println("");}
    ;

process
    :^(PROC INT)
    {System.out.println("");}
    ;

transitions
    :^(TRANSITIONS INT INT INT*)
    {System.out.println("");}
    ;

协议测试.java 

package com.javadude.antlr3.x.tutorial;  
import org.antlr.runtime.*;  
import org.antlr.runtime.tree.*;  
import org.antlr.runtime.tree.CommonTree;  
import org.antlr.runtime.tree.CommonTreeNodeStream;  
public class Protocoltest { 



/**
 * @param args
 */
public static void main(String[] args) throws Exception {
    //create input stream from standard input
    ANTLRInputStream input = new ANTLRInputStream(System.in);
    //create a lexer attached to that input stream
    protocolLexer lexer = new protocolLexer(input);
    //create a stream of tokens pulled from the lexer
    CommonTokenStream tokens = new CommonTokenStream(lexer);

    //create a pareser attached to teh token stream
    protocolParser parser = new protocolParser(tokens);
    //invoke the program rule in get return value
    protocolParser.program_return r =parser.program();
    CommonTree t = (CommonTree)r.getTree();
    //output the extracted tree to the console
    System.out.println(t.toStringTree());

    //walk resulting tree; create treenode stream first
    CommonTreeNodeStream nodes = new CommonTreeNodeStream(t);
    //AST nodes have payloads that point into token stream
    nodes.setTokenStream(tokens);


    //create a tree walker attached to the nodes stream  
            //Error, can't create TreeGrammar object called walker
    protocolWalker walker = new protocolWalker(nodes);

    //invoke the start symbol, rule program
    walker.program();
    }
}

问题：

  1. 在protocolWalker 中，我无法访问令牌（protocol.tokens） 

    //Error, eclipse can't access tokenVocab named protocol  
    tokenVocab = protocol; //import tokens from protocol.g i.e, from protocol.tokens file

  2. 在protocolWalker中，我可以在动作列表中创建名为Configuration的java类对象吗？

    protocol
    :^(PROT ID)
       {System.out.println("create protocol " +$ID.text);
        Configuration conf = new Configuration();
       }
    ;

  3. 在 Protocoltest.java

    //create a tree walker attached to the nodes stream    
//Error, can't create TreeGrammar object called walker  
    protocolWalker walker = new protocolWalker(nodes);

    无法创建 protocolWalker 的对象。我在示例和教程中看到创建了这样的对象。

4

2 回答 2

1

在protocolWalker中，我无法访问令牌（protocol.tokens）......

它似乎可以protocol.tokens正常访问：更改tokenVocab为其他内容会产生一个现在不会产生的错误。protocolWalker.g 的问题在于它被定义为令牌解析器 ( grammar protocolWalker)，但它被用作树解析器。将语法定义为tree grammar protocolWalker消除了我看到的关于未定义标记的错误。

在protocolWalker 中，我可以在动作列表中创建名为Configuration 的java 类的对象吗？

是的你可以。正常的 Java 编程注意事项适用于导入类等，但它对你来说就像System.out.println.

在 Protocoltest.java ... 无法创建 protocolWalker 的对象。

protocolWalker.g（就像现在一样）生成一个名为protocolWalkerParser. 当您将其更改为树语法时，它将生成一个名为的树解析器protocolWalker。

非常感谢您发布整个语法。这使得回答这个问题变得更加容易。

于 2012-10-22T21:27:51.060 回答
0

谢谢你的回复，这是一个愚蠢的错误。令牌问题和创建protocolWalker 对象现在已解决，但无论何时，无论是protocol.g 还是protocolWalker.g，我都必须在protocolParser.java 和protocolWalker.java 中再次（每次）写入包名。我之前在词法分析器文件中遇到了同样的问题，但是下面的声明克服了这个问题。

@header {
package com.javadude.antlr3.x.tutorial;
}

但我不知道如何克服这个问题？

此外，我使用 SWING 在 Java 中开发了一个 GUI，其中我有一个 textarea。在该文本区域中，用户将编写输入，就像我的语法用户将编写的一样，

protocol test;
pin = 5;
p = 3;
transitions = 2(5,0) (5,1);

如何在 Java Swing GUI 中处理此输入并在那里生成输出？

此外，如果我将 protocolWalker.g 的以下部分提供给

protocol
    :^(PROT ID)
    {
     System.out.println("create protocol " +$ID.text);
     Configuration conf = new Configuration();
     conf.showConfiguration();
    }
    ;

initialprocess
    :^(INITIALP INT)
    {System.out.println("create initial process (with state) ");}
    ;

process
    :^(PROC INT)
    {System.out.println("create processes ");}
    ;

并使用以下输入运行测试文件，

protocol test;
pin = 5;
p = 3;
transitions = 2(5,0) (5,1);

我得到以下输出

(PROT test) (INITIALP 5) (PROC 3) (TRANSITIONS 2 5 0 5 1)
create protocol test

为什么protocolWalker.g 中的第二个和第三个println 没有显示在输出中？

有什么想法/帮助吗？

再一次感谢你。

于 2012-10-23T12:30:27.843 回答