3

我正在玩 AST 操作。目前我正在尝试从输入 AST 中删除某些节点。我认为 NodeTransformer 类是用于此目的的合适工具。可悲的是，它的行为并不像预期的那样。

文档说：

"NodeTransformer 将遍历 AST 并使用访问者方法的返回值替换或删除旧节点。如果访问者方法的返回值为 None，则将节点从其位置中删除，否则替换为返回值。”

现在看看我的程序：

import _ast
import ast
import sys

#ast transformer
class MyTransformer(ast.NodeTransformer):

    def iterate_children(self, node):
        """
        helper
        """
        children = ast.iter_child_nodes(node)
        for c in children:
            self.visit(c)

    def generic_visit(self, node):
        """
        default behaviour
        """
        print("visiting: "+node.__class__.__name__)
        self.iterate_children(node)
        return node

    def visit_For(self, node):
        """
        For nodes: replace with nothing
        """
        print("removing a For node")
        return None



#read source program
filename = sys.argv[1]
with open (filename, "r") as myfile:
    source = str(myfile.read())

#compile source to ast
m = compile(source, "<string>", "exec", _ast.PyCF_ONLY_AST)

#do ast manipulation
t = MyTransformer()
t.visit(m)

# fix locations
m = ast.fix_missing_locations(m)

#visualize the resulting ast
#p = AstPrinter()
#p.fromAst(m)

#execute the transformed program
print("computing...")
codeobj = compile(m, '<string>', 'exec')
exec(codeobj)

这是输入文件：

l = [0, 1, 2, 3]

total = 0

for i in l:
    total += i

print(total)

结果：

visiting: Module
visiting: Assign
visiting: Name
visiting: Store
visiting: List
visiting: Num
visiting: Num
visiting: Num
visiting: Num
visiting: Load
visiting: Assign
visiting: Name
visiting: Store
visiting: Num
removing a For node
visiting: Expr
visiting: Call
visiting: Name
visiting: Load
visiting: Name
visiting: Load
computing...
6

我期望一个“0”，因为循环已被删除。但是有一个“6”（=0+1+2+3）。

有人知道为什么吗？

Python版本：3.2.3

插图

( ) 中的数字表示输入程序中的行号。此处不提供图像绘制代码；请忽略“根”节点。如您所见，For 循环仍然存在。

谢谢阅读！

更新 21.8：

我在 python 邮件列表 (python-list@python.org) 上发布了这个问题的链接。好像我做了太多的覆盖。没有儿童访客，它按预期工作。

MyTransformer 的完整源代码：

class MyTransformer(ast.NodeTransformer):
    def visit_For(self, node):
        """
        For nodes: replace with nothing
        """
        print("removing a For node")
        return None
4

1 回答 1

2

不，它可以正常工作，因为您删除了 self-written generic_visit()。正如您在 的源代码中看到的ast.py，NodeTransformer是 的子级NodeVisitor，它有自己的generic_visit()方法。此方法执行ast节点的更新，如果您覆盖此方法，您应该知道您在做什么。覆盖将改变所有逻辑NodeTransformer。

如果您仍然需要覆盖generic_visit()（例如visiting: <AST object>在访问节点时打印消息），则必须在generic_visit(). 因此，您的方法将是下一个：

def generic_visit(self, node):
        """
        printing visit messages
        """
        super().generic_visit(node)
        print("visiting: "+node.__class__.__name__)
        self.iterate_children(node)
        return node

在这种iterate_children()情况下不影响结果，但也必须删除。它强制访问者遍历每个节点的子节点。但generic_visit()已经在所有节点上运行。因此，与iterate_children()您一起访问一些节点不止一次。这会浪费计算时间，并且在更复杂的情况下可能会出错。

于 2016-01-02T14:42:29.073 回答