python - 如何将关键字添加到分词器？

Question

我正在使用 generate_token 函数来标记特定代码。问题是我无法添加“打印”和“输入”作为关键字。它将它们作为 NAME 而不是关键字返回。如何添加这些令牌？

import token
import tokenize

try:
    from cStringIO import StringIO
except:
    from io import StringIO
file = open(filename)
characters = file.read()
file.close()
code_reader = StringIO(characters).readline

for num, (ttyp, ttok, _, _, _) in enumerate(tokenize.generate_tokens(code_reader)):
    print("%5d %15s %r" % (num, token.tok_name[ttyp], ttok))

Answer 1

该tokenize模块没有说明任何关于关键字的内容。所有关键字都作为 NAME 返回，然后您必须决定哪些是关键字，通常使用keyword模块。不过，如果您愿意，也可以使用其他方式。