python - 如何在 PyTorch 中查找和理解 autograd 源代码

Question

我对autograd算法有很好的了解，我认为我应该学习一下PyTorch中的源代码。但是，当我在 GitHub 上看到该项目时，我被结构弄糊涂了，因为这么多文件包括 autograd。那么autograd最重要的核心代码是哪一部分呢？

Answer 1

我建议您通过制作一个简单的图表并打印/可视化结构，将您对 autograd 的理解与所涉及的 PyTorch 数据结构联系起来，如下所示：

• 打印 Autograd 图表
• Resnet 示例即（jupyter 笔记本）

Answer 2

阅读 PyTorch 代码是可行的，但您可能会被细节淹没。要了解 autograd 的基本概念，您可能需要参考一些简单的 autograd 实现，例如https://evcu.github.io/ml/autograd/和https://medium.com/@ralphmao95/simple-autograd -实现-理解-自动微分-手动-9e86f6d703ab

Answer 3

1. 尝试了解 autograd变量可能是您可以做的第一件事。据我了解，autograd 只是模块的命名，其中包含增强渐变和后向功能的类。

2. 请注意，很多算法，例如通过图形的反向传播，都隐藏在编译代码中。

3. 如果您查看__init__.py，您可以了解所有重要功能（backward & grad）