java - ANTLR：有一个简单的例子吗？

Question

我想开始使用 ANTLR，但是在花了几个小时查看antlr.org站点上的示例之后，我仍然无法清楚地了解 Java 过程的语法。

有没有一些简单的例子，比如用 ANTLR 实现的四操作计算器，通过解析器定义一直到 Java 源代码？

score 467 · Accepted Answer

注意：此答案适用于ANTLR3！如果您正在寻找ANTLR4示例，那么此问答将演示如何使用ANTLR4创建简单的表达式解析器和评估器。

您首先创建一个语法。下面是一个小语法，您可以使用它来评估使用 4 个基本数学运算符构建的表达式：+、-、* 和 /。您还可以使用括号对表达式进行分组。

请注意，这个语法只是一个非常基本的语法：它不处理一元运算符（减号：-1+9）或像 .99 这样的小数（没有前导数字），仅举两个缺点。这只是一个您可以自己处理的示例。

这是语法文件Exp.g的内容：

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

（解析器规则以小写字母开头，词法分析器规则以大写字母开头）

创建语法后，您需要从中生成解析器和词法分析器。下载ANTLR jar并将其存储在与语法文件相同的目录中。

在 shell/命令提示符下执行以下命令：

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它不应该产生任何错误消息，现在应该生成文件ExpLexer.java、ExpParser.java和Exp.tokens 。

要查看它是否正常工作，请创建此测试类：

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译它：

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它：

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利，控制台不会打印任何内容。这意味着解析器没有发现任何错误。当您更改"12*(5-6)"为"12*(5-6"然后重新编译并运行它时，应该会打印以下内容：

line 0:-1 mismatched input '<EOF>' expecting ')'

好的，现在我们想在语法中添加一些 Java 代码，以便解析器真正做一些有用的事情。添加代码可以通过将一些纯 Java 代码放入语法{中来完成。}

但首先：语法文件中的所有解析器规则都应该返回一个原始的双精度值。您可以通过returns [double value]在每条规则之后添加来做到这一点：

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

这几乎不需要解释：每个规则都应该返回一个双精度值。现在要从代码块内与返回值double value（不在普通 Java 代码块{...}内）“交互”，您需要在前面添加一个美元符号value：

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

这是语法，但现在添加了 Java 代码：

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

并且由于我们的eval规则现在返回一个双精度数，请将您的 ANTLRDemo.java 更改为：

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

再次（重新）从您的语法（1）生成一个新的词法分析器和解析器，编译所有类（2）并运行 ANTLRDemo（3）：

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

现在您将看到表达式的结果12*(5-6)打印到您的控制台！

再说一遍：这是一个非常简短的解释。我鼓励你浏览ANTLR wiki并阅读一些教程和/或玩一下我刚刚发布的内容。

祝你好运！

编辑：

这篇文章展示了如何扩展上面的示例，以便Map<String, Double>可以提供在提供的表达式中保存变量的 a。

为了让这段代码与当前版本的 Antlr（2014 年 6 月）一起工作，我需要进行一些更改。ANTLRStringStream需要成为ANTLRInputStream，返回值需要从parser.eval()变为parser.eval().value，并且我需要删除最后的WS子句，因为$channel不再允许在词法分析器操作中出现诸如此类的属性值。

score 18 · Accepted Answer

Gabriele Tomassetti 的ANTLR 超级教程非常有帮助

它有语法示例、不同语言（Java、JavaScript、C# 和 Python）的访问者示例以及许多其他内容。强烈推荐。

编辑：Gabriele Tomassetti 在 ANTLR 上的其他有用文章

score 7 · Accepted Answer

对于 Antlr 4，java 代码生成过程如下：-

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

相应地更新类路径中的 jar 名称。

score 3 · Accepted Answer

4.7.1 版略有不同：对于导入：

import org.antlr.v4.runtime.*;

对于主要部分 - 请注意 CharStreams：

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);