4

我正在尝试对 Python 代码库中的类和函数依赖项进行一些分析。csv我的第一步是使用 Python 的模块和正则表达式创建一个用于导入 Excel 的 .csv 文件。

我所拥有的当前版本如下所示：

import re
import os
import csv 
from os.path import join


class ClassParser(object):
   class_expr = re.compile(r'class (.+?)(?:\((.+?)\))?:')                                                                                                                                                                                    
   python_file_expr = re.compile(r'^\w+[.]py$')

   def findAllClasses(self, python_file):
      """ Read in a python file and return all the class names
      """
      with open(python_file) as infile:
         everything = infile.read()
         class_names = ClassParser.class_expr.findall(everything)
         return class_names

   def findAllPythonFiles(self, directory):
      """ Find all the python files starting from a top level directory
      """
      python_files = []
      for root, dirs, files in os.walk(directory):
         for file in files:
            if ClassParser.python_file_expr.match(file):
               python_files.append(join(root,file))
      return python_files

   def parse(self, directory, output_directory="classes.csv"):
      """ Parse the directory and spit out a csv file
      """
      with open(output_directory,'w') as csv_file:
         writer = csv.writer(csv_file)
         python_files = self.findAllPythonFiles(directory)
         for file in python_files:
            classes = self.findAllClasses(file)
            for classname in classes:
               writer.writerow([classname[0], classname[1], file])

if __name__=="__main__":
   parser = ClassParser()
   parser.parse("/path/to/my/project/main/directory")

这会生成格式为 .csv 的输出：

class name, inherited classes (also comma separated), file
class name, inherited classes (also comma separated), file
... etc. ...

除了类名之外，我还想开始解析函数声明和定义。我的问题：有没有更好的方法来获取类名、继承的类名、函数名、参数名等？

注意：我考虑过使用 Pythonast模块，但我没有使用它的经验，也不知道如何使用它来获取所需的信息，或者它是否可以做到这一点。

编辑：响应 Martin Thurau 的更多信息请求——我试图解决这个问题的原因是因为我继承了一个相当长的（100k+ 行）项目，它的模块、类和函数没有明显的结构；它们都作为文件集合存在于单个源目录中。

一些源文件包含几十个相切相关的类，并且有 10k+ 行长，这使得它们难以维护。我开始使用The Hitchhiker's Guide to Packaging作为基础，分析将每个课程打包成更具凝聚力的结构的相对难度。我关心的部分分析是一个类与其文件中的其他类是如何交织在一起的，以及特定类依赖于哪些导入或继承的类。

4

1 回答 1

3

我已经开始实施这一点。将以下代码放入文件中并运行它，传递文件或目录的名称进行分析。它将打印出它找到的所有类、找到它的文件以及类的基础。它并不智能，因此如果您Foo在代码库中定义了两个类，它不会告诉您正在使用哪个类，但这是一个开始。

此代码使用 pythonast模块检查.py文件，并找到所有ClassDef节点。然后它使用这个meta包来打印它们的一部分——你需要安装这个包。

$ pip install -e git+https://github.com/srossross/Meta.git#egg=meta

示例输出，针对django-featured-item运行：

$ python class-finder.py /path/to/django-featured-item/featureditem/
FeaturedField,../django-featured-item/featureditem/fields.py,models.BooleanField
SingleFeature,../django-featured-item/featureditem/tests.py,models.Model
MultipleFeature,../django-featured-item/featureditem/tests.py,models.Model
Author,../django-featured-item/featureditem/tests.py,models.Model
Book,../django-featured-item/featureditem/tests.py,models.Model
FeaturedField,../django-featured-item/featureditem/tests.py,TestCase

编码：

# class-finder.py
import ast
import csv
import meta
import os
import sys

def find_classes(node, in_file):
    if isinstance(node, ast.ClassDef):
        yield (node, in_file)

    if hasattr(node, 'body'):
        for child in node.body:
            # `yield from find_classes(child)` in Python 3.x
            for x in find_classes(child, in_file): yield x


def print_classes(classes, out):
    writer = csv.writer(out)
    for cls, in_file in classes:
        writer.writerow([cls.name, in_file] +
            [meta.asttools.dump_python_source(base).strip()
                for base in cls.bases])


def process_file(file_path):
    root = ast.parse(open(file_path, 'r').read(), file_path)
    for cls in find_classes(root, file_path):
        yield cls


def process_directory(dir_path):
    for entry in os.listdir(dir_path):
        for cls in process_file_or_directory(os.path.join(dir_path, entry)):
            yield cls


def process_file_or_directory(file_or_directory):
    if os.path.isdir(file_or_directory):
        return process_directory(file_or_directory)
    elif file_or_directory.endswith('.py'):
        return process_file(file_or_directory)
    else:
        return []

if __name__ == '__main__':
    classes = process_file_or_directory(sys.argv[1])
    print_classes(classes, sys.stdout)
于 2013-03-20T10:38:21.837 回答