问题标签 [lexer]

我所说的字符串文字是指那些\123也包含 -like 字符的文字。我写了一些东西，但我不知道它是否完美：

事实上，我知道这并不完美，因为对于解析类似字符的三行\ddd，我没有将字符本身放在字符串中，而是将其表示。我可能会尝试使用 Character 方法对其进行转换，但也许我并不详尽，也许还有其他我没有处理的转义序列......所以如果有一个规范的 jflex 文件，那将是完美的。

我可以写一个规则，其中初始令牌部分固定，部分通用？

但仅当令牌 ID 采用 var* 形式时（var 是固定的）

谢谢

我有一个组合语法（同一个文件上的词法分析器和解析器）。如何设置

到词法分析器？

谢谢

我正在开发一种工具，它将对程序执行一些简单的转换（如提取方法）。为此，我必须执行编译的前几个步骤（标记化、解析并可能构建符号表）。我将从 C 开始，然后希望将其扩展到支持多种语言。

我的问题是，执行这些步骤的最佳方法是：

1.) 不会重新发明轮子。显然我不想手动编写 Flex/Bison 规范。我是否只是获取预先存在的规范并从那里开始工作？Antlr是去这里的路吗？

2.) 可扩展到多种语言。显然，每个人的词法分析/解析都会有所不同，但我想要一个可以轻松扩展到其他语言的解决方案。至少有一套技术可以使这变得易于管理。

顺便说一句，我正在使用 C 编写我的应用程序

如果有人有任何想法，那就太好了！谢谢！

ANTLR 是否有任何现有的 C++ 语法文件？

我正在寻找 lex，而不是解析一些 C++ 源代码文件。

我查看了ANTLR 语法页面，看起来这里列出了 Sun Microsystems 创建的一个。

但是，它似乎是一个生成的 Parser。

谁能指出我的 C++ ANTLR 词法分析器或语法文件？

这个语法有什么区别：

和这个：

?

如果有任何区别，因为这会影响性能......谢谢

我可以构造一个令牌吗

PRE仅当它前面有一个令牌而不包括在 ENDPLUS 中时才被词法分析器考虑？

谢谢。

如何在词法分析器中构建一个可以处理内部递归的标记作为这个字符串：

?

antlr3 中的“孤岛语法”是什么以及如何使用？

我目前正在尝试借助正则表达式将文档解析为标记。

目前我正在尝试匹配文档中的关键字。例如我有以下文件：

需要匹配的关键字是Func、Return和EndFunc。

我想出了以下正则表达式： (\s|^)(Func)(\s|$) 来匹配 Func 关键字，但它并不像我想要的那样工作，空格也匹配！

如何在不捕获空格的情况下匹配它？