antlr - 令牌定义和词法分析器令牌之间的区别

Question

在标记块中定义标记和将标记定义为词法分析器索引有什么区别？

Answer 1

词法分析器标记是antlr通过解析某种字符组合生成的标记，例如：

fragment
F_W :   (' '|'\t'|'\r'|'\n'|'\f')*
    ;

但是，令牌块中的令牌是用户为了解析的好处而创建的视觉令牌；他们没有直接映射到一组字符系列。例如，

tokens { BLOCK; } 

给你一个视觉标记 BLOCK ，你可以把它放在你的块规则之前或顶部以标记子序列会话是这样的块规则：

block: 
'{' expression* '}' ->
 BLOCK^ expression*
;