11

我正在尝试将 AST 与 ANTLR4 一起使用，并带有以下文件：

生成器.java

import org.antlr.v4.runtime.ANTLRInputStream;
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.TokenStream;

public class Builder
{

    public static void main(String[] args)
    {
        CharStream input = new ANTLRInputStream("ON M1==2 && M3 == 5 && (M2 > 1 || M5 <= 5.0) "
                                              + "DO P5:42 P4:10");
        ExprLexer lexer = new ExprLexer(input);
        TokenStream tokens = new CommonTokenStream(lexer);
        ExprParser parser = new ExprParser(tokens);
        parser.addParseListener(new ExprTestListener());
        ExprParser.ExpressionContext uu = parser.expression();
    }

}

ExprTestListener：

import org.antlr.v4.runtime.ParserRuleContext;
import org.antlr.v4.runtime.Token;
import org.antlr.v4.runtime.tree.TerminalNode;
import org.antlr.v4.runtime.tree.ErrorNode;

public class ExprTestListener extends ExprBaseListener {
    @Override public void enterExpression(ExprParser.ExpressionContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitExpression(ExprParser.ExpressionContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterActionexpr(ExprParser.ActionexprContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitActionexpr(ExprParser.ActionexprContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterCondexpr(ExprParser.CondexprContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitCondexpr(ExprParser.CondexprContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterCond(ExprParser.CondContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitCond(ExprParser.CondContext ctx)
    {
        System.out.println(ctx);
    }

    @Override public void enterEveryRule(ParserRuleContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void exitEveryRule(ParserRuleContext ctx)
    {
        System.out.println(ctx);
    }
    @Override public void visitTerminal(TerminalNode node)
    {
    }
    @Override public void visitErrorNode(ErrorNode node)
    {
    }
}

表达式：

grammar Expr;
options
{
  // antlr will generate java lexer and parser
  language = Java;

}
WS      : [ \t\r\n]+ -> skip ;
OP      : '&&' | '||';
COMP    : '==' | '<' | '>' | '<=' | '>=' | '!=';
fragment INT     : [0-9]+;
REAL    : INT '.' INT | INT;

ACTION  : 'P' INT ':' INT;
MEASURE : 'M' INT;

// ***************** parser rules:
cond       : MEASURE COMP REAL;
condexpr   : '(' condexpr ')' | cond OP condexpr | cond;
actionexpr : ACTION actionexpr | ACTION;
expression : 'ON' condexpr 'DO' actionexpr;

我有这个输出：

[]
[]
[29]
[29]
[16 29]
[16 29]
[16 29]
[16 29]
[18 29]
[18 29]
[16 18 29]
[16 18 29]
[16 18 29]
[16 18 29]
[18 18 29]
[18 18 29]
[13 18 18 29]
[13 18 18 29]
[16 13 18 18 29]
[16 13 18 18 29]
[16 13 18 18 29]
[16 13 18 18 29]
[18 13 18 18 29]
[18 13 18 18 29]
[20 18 13 18 18 29]
[20 18 13 18 18 29]
[20 18 13 18 18 29]
[20 18 13 18 18 29]
[18 13 18 18 29]
[18 13 18 18 29]
[13 18 18 29]
[13 18 18 29]
[18 18 29]
[18 18 29]
[18 29]
[18 29]
[29]
[29]
[31]
[31]
[24 31]
[24 31]
[24 31]
[24 31]
[31]
[31]
[]
[]

我发现使用 ANTLR4 很难理解访问者。

我有树目标：

  • 获取 MEASURE 和 ACTION 的收集 INT（在两个不同的集合中）
  • 替换一些 OP（例如 != by <>）
  • 获取替换了 OP 的 condexpr（顶部项目）字符串（参见我的前一点）
4

2 回答 2

11

首先，我将解释您在上面观察到的内容：

首先，请阅读您调用的方法的文档。该Parser.addParseListener文档包括以下注释：

这仅适用于高级用户。请将您的 ParseTreeListener 交给 ParseTreeWalker 而不是交给解析器！！！！

toString()类的实现ParserRuleContext只是在创建上下文时打印规则调用堆栈。当侦听器进入规则时打印一次，退出时打印一次。对于actionexpr, cond, 并condexpr再次打印，为每个上下文产生总共 4 个相同的输出行。

现在对你的目标做一些说明：

  • 在enterCondandexitCond中，MEASURE文本可通过调用ctx.MEASURE().getText().
  • 在enterActionexprandexitActionexpr中，ACTION文本可通过调用ctx.ACTION().getText().
  • 您可以COND通过为更新的令牌创建一个新的TerminalNodeImpl和来更改令牌，并使用访问者或侦听器CommonToken将其分配给字段中的正确索引。CondContext.children
于 2013-02-03T00:35:23.320 回答
1

您可以使用树标签来设置解析的上下文，然后使用访问者类和触发方法遍历观察到的图的叶子，以便从语言源代码中的表达式创建操作。因此，在初始访问时，监听器不会处理实际的访问者模式。实际的访问者模式和访问处理是由表达式库侦听器类扩展的方法完成的。

侦听器识别表达式：

@Override public void enterListener(ExprParser.EXPR_CONTEXTContext ctx) { 
  //some code to view the compilation process
}

表达式规则获得一个名称标签：

'EXPR_CONTEXT' expression             # EXPR_CONTEXT //the tree label

表达式walker的实现：

public class ExprWalker extends ExprBaseListener {

  @Override 
  public void enterListener(ExprParser.EXPR_CONTEXTContext ctx) { 

    java.util.List<ExprParser.ExpressionContext> e = ctx.expression();

    System.out.println("EXPRESSION: " //print action
    + e.get(0).getText() + ", " //first element
    + e.get(1).getText() //second element
    + ", " + ... + ", " //number of elements
    + e.get(N).getText()); //last element

}

然后主文件与步行者一起步行：

ParseTree tree = parser.parse(); //parse the tree

间奏曲：在应用步行者访问模式之前，可以想象树段优化或处理模式。解析的树可以在这里作为源代码树的单独归纳来处理。这种方法支持更复杂的代码和树处理模式。

ParseTreeWalker walker = new ParseTreeWalker(); //get the walker
walker.walk(new ExprWalker(), tree); //start visiting
于 2014-03-07T13:11:34.323 回答