问题标签 [lexical-analysis]

假设我有如下字符串：

除了“DVDPlayer”和“CDPlayer”之外，我知道如何标记驼峰式的。我知道我可以手动标记它们，但也许你可以给我看一个可以处理所有情况的正则表达式？

编辑：预期的令牌是：

我希望能够写出类似下面的东西。有人可以告诉我如何用 C# 编写一个干净的 WordReader 类。一句话就是[a-zA-Z]+。

我正在为 C 中的玩具编程语言编写演示编译器。

如果我们在读取程序和词法分析之间的单独阶段进行宏处理，会出现什么问题？

我正在寻找任何语言的手写免费词法分析器/扫描器，甚至是用类似于 C/C++ 的语言编写的玩具语言。我是创建语言和编译器设计的初学者，我想玩弄源代码。

例如，在 flex 生成 lex 之前，此网站上有一个手写词法分析器：http ://en.wikipedia.org/wiki/Flex_lexical_analysisr

谢谢。

词法分析器可以在 Java、C++ 或 C 等语言的给定代码中检测到哪些错误示例？

我想制作一款能够识别句子是正面还是负面的软件。

周围有词法分析库吗？

我真的不知道我应该从哪里开始。

如何消除以下语法的左递归？

使用通用程序：

翻译为：

将其应用于原始语法，我们得到：

所以：

但是这个语法似乎不正确，因为

将是有效的，但这是一个不正确的后缀表达式。

我查看了以下软件工具：

• 拉格尔
• ANTLR
• BNF转换器
• 提升::精神
• 可可/R
• YACC

ANTLR 似乎是最直接的，但是缺乏它的文档。Ragel 看起来也可以，但我没有看到将BNF转换为其语法的简单方法。

还有哪些其他工具可以接受 BNF 输入并生成相应的、Unicode 友好的、跨平台的、独立的、C++ 解析器？

非常感谢所有建议。

编辑：将 Objective-C 要求更改为 C++。

有谁知道 Python 的 FLEX 或 LEX 规范文件在哪里？例如，这是 ANSI C 编程语言的 lex 规范：http ://www.quut.com/c/ANSI-C-grammar-l-1998.html

仅供参考，我正在尝试将代码突出显示写入 Cocoa 应用程序。正则表达式不会这样做，因为我还希望语法解析来折叠代码并识别块。

我已经做了一个扫描仪，现在我应该做一个解析器。有什么不同？