java - 使用java创建词法分析器程序的想法

Question

我正在尝试使用 java 创建一个词法分析器程序。程序必须具有标记化的概念。我在编译器编程方面具有初学者水平的知识。我知道互联网上有很多词法生成器。我可以用它们来测试我自己的词法分析器输出。但我需要做我自己的词法分析器。任何人都可以提供一些最好的参考或文章或想法来开始我的编码吗？

Answer 1

Aho Sethi 和 Ullman 的“编译器原理、技术和工具”有一章是关于词法分析器的。它包括许多关于正则表达式和有限自动机的理论，这些理论是这个问题域的核心。

Answer 2

我会尝试查看一些更好的源代码。我过去使用过 Sablecc。如果您访问描述如何设置您的环境的此页面，则有一个指向它的源代码的链接。Antlr也是一个非常常用的。这是它的源代码。

另外，《龙书》真的很不错。

正如 SK-logic 所建议的那样，我将现代编译器实现添加为另一种选择。