4

我有以下语法：

rule: 'aaa' | 'a' 'a';

它可以成功解析字符串'aaa'，但无法解析'aa'并出现以下错误：

line 1:2 mismatched character '<EOF>' expecting 'a'

仅供参考，这是词法分析器的问题而不是解析器的问题，因为我什至不调用解析器。主要功能如下所示：

@members {
  public static void main(String[] args) throws Exception {
    RecipeLexer lexer = new RecipeLexer(new ANTLRInputStream(System.in));
    for (Token t = lexer.nextToken(); t.getType() != EOF; t = lexer.nextToken())
      System.out.println(t.getType());
  }
}

结果与更明显的版本相同：

rule: AAA | A A;
AAA: 'aaa';
A: 'a';

显然，ANTLR 词法分析器尝试将输入“aa”与失败的规则 AAA 匹配。除了 ANTLR 是一个 LL(*) 解析器或其他什么之外，词法分析器应该与解析器分开工作，它应该能够解决歧义。该语法适用于良好的旧lex（或flex），但它似乎不适用于 ANTLR。那么这里的问题是什么？

谢谢您的帮助！

4

1 回答 1

6

ANTLR 生成的解析器是（或可以是）LL(*)，而不是它的词法分析器。

当词法分析器看到输入"aa"时，它会尝试匹配 token AAA。当它失败时，它会尝试匹配任何其他也匹配"aa"的标记（词法分析器不会回溯到匹配A！）。由于这是不可能的，因此会产生错误。

这通常不是问题，因为在实践中，通常有某种标识符规则"aa"可以回退。那么，您正在尝试解决什么实际问题，或者您只是对内部工作原理感到好奇？如果是第一个，请编辑您的问题并描述您的实际问题。

于 2012-08-30T06:44:54.240 回答