python - Python prompt_toolkit 中的自定义词法分析器

Question

虽然prompt_toolkit文档表明“也可以通过实现Lexer抽象基类来创建自定义词法分析器” (1)，但它并没有真正解释如何。我找不到任何教程或真正完整的代码示例来说明它是如何工作的。有没有人有任何建议或例子？我正在寻找从特定于应用程序的 SQL 派生词创建词法分析器。

Answer 1

您可以使用 pygments 创建自己的词法分析器，要创建自己的词法分析器，您需要了解正则表达式https://docs.python.org/3/howto/regex.html

您可以从 pygments 阅读此文档链接，了解如何创建您自己的词法分析器。 https://pygments.org/docs/lexerdevelopment/

这是一个小例子

from pygments.lexer import RegexLexer
from pygments.token import Name

__all__ = ['CustomLexer']

class CustomLexer(RegexLexer):
     name = "sql type"
     tokens = {
        'root': [
            (r"\bSELECT\b", Name.Tag),
        ]}

并将这一行添加到要导入的文件中

lexer = pygments.lexers.load_lexer_from_file("name.py", lexername="CustomLexer")

现在在 prompt_toolkit 您还可以编辑这些文档链接的颜色 - https://python-prompt-toolkit.readthedocs.io/en/master/pages/printing_text.html#pygments-token-text-tuples

style = Style.from_dict({
    'pygments.name.tag': 'bg:#ffffff #000000',
})