1.[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
2.Pytorch之Dataparallel源码解析
3.PyTorch 源码分析(三）：torch.nn.Norm类算子
4.PyTorch 源码分析(一）：torch.nn.Module
5.Pytorch nn.Module接口及源码分析
6.PyTorch 源码解读之 torch.utils.data：解析数据处理全流程
[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
这篇文章详细介绍了如何从源码安装Pytorch3D，编译编译包括选择合适的源源码镜像、配置工具和编译步骤。编译编译首先，源源码选择Pytorch 1.9的编译编译devel镜像，包含CUDA和驱动，源源码付费源码街确保与Pytorch3D的编译编译版本要求相匹配，比如Python 3.7和CUDA .2。源源码在镜像内，编译编译需要检查nvcc编译器、源源码CUDA工具箱和驱动是编译编译否正常，同时安装基本工具如git、源源码vim、编译编译sudo和curl。源源码
配置CUB工具是编译编译关键步骤，根据Pytorch3D文档，需要在编译前设置CUB_HOME。即使Pytorch镜像自带CUDA，也建议手动设置`FORCE_CUDA`为1以确保兼容。接着，如果遇到conda依赖问题，作者选择从源码编译Pytorch3D，编译过程中的安装log和版本检查是必要的。
最后，通过测试用例，link源码解析如从ARkit导出数据并渲染白模，验证GPU的使用。结果显示GPU正常工作，安装成功。对于更深入的Pytorch3D使用，作者还分享了一些参考资源，以便初学者入门。
Pytorch之Dataparallel源码解析
深入解析Pytorch之Dataparallel源码
在深入理解Dataparallel原理之前，需要明白它的使用场景和目的。Dataparallel设计用于在多GPU环境下并行处理数据，提高模型训练效率。
初始化阶段，Dataparallel需要实例化一个模型。这一步中，模型的参数会被复制到所有可用的GPU上，从而实现并行计算。
在前向传播阶段，Dataparallel的核心作用体现出来。它会将输入数据分割成多个小批次，然后分别发送到各个GPU上。在每个GPU上执行前向传播操作后，结果会被收集并汇总。这样，即便模型在多GPU上运行，cpp的源码输出结果也如同在单GPU上运行一样。
具体实现中，Dataparallel会利用Python的多重继承和数据并行策略。它继承自nn.Module，同时调用nn.DataParallel的构造函数，从而实现并行计算。
对于那些需要在GPU间共享的状态或变量，Dataparallel还提供了相应的管理机制，确保数据的一致性和计算的正确性。这样的设计使得模型能够高效地在多GPU环境下运行，同时保持代码的简洁性和易读性。
总结而言，Dataparallel通过分割数据、并行执行前向传播和收集结果的机制，实现了高效的数据并行训练。理解其源码有助于开发者更好地利用多GPU资源，提升模型训练效率。
PyTorch 源码分析(三）：torch.nn.Norm类算子
PyTorch源码详解(三)：torch.nn.Norm类算子深入解析
Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。1. BN/LayerNorm/InstanceNorm详解
BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，麒麟网源码同时让数据分布更加稳定。 gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。2. Norm算子源码分析
继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。
BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。
计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。
C++侧的源码洞察
C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的数据视图和线程视图处理来提高性能。PyTorch 源码分析(一）：torch.nn.Module
nn.Module是PyTorch中最核心和基础的结构，它是操作符/损失函数的基类，同时也是组成各种网络结构的基类（实际上是由多个module组合而成的一个module）。
在Python侧，2.1回调函数注册，2.2 module类定义中，有以下几个重点函数：
重点函数一：将模型的参数移动到CUDA上，内部会遍历其子module。乐蒙源码
重点函数二：将模型的参数移动到CPU上，内部会遍历其子module。
重点函数三：将模型的参数转化为fp或者fp等，内部会遍历其子module。
重点函数四：forward函数调用。
重点函数五：返回该net的所有layer。
在类图中，PyTorch的算子都是module的子类，包括自定义算子和整网定义。
在C++侧，3.1 module.to("cuda")详细分析中，本质是将module的parameter&buffer等tensor移动到CUDA上，最终调用的是tensor.to(cuda)。
3.2 module.load/save逻辑中，PyTorch模型保存分为两种，一种是纯参数，一种是带模型结构（PyTorch中的模型结构，本质上是由module、sub-module构造的一个计算图）。
parameter、buffer是通过key-value的形式来存储和检索的，key为module的.name，value为存储具体数据的tensor。
InputArchive/OutputArchive的write和read逻辑。
通过Module，PyTorch将op/loss/opt等串联起来，类似于一个计算图。基于PyTorch构建的ResNet等模型，是逐个算子进行计算的，tensor在CPU和GPU之间来回流动，而不是整个计算都在GPU上完成（即中间计算结果不出GPU）。实际上，在进行推理时，可以构建一个计算图，让整个计算图的计算都在GPU上完成，不知道是否可行（如果GPU上有一个CPU就可以完成这个操作，不知道tensorrt是否是这样的操作）。
Pytorch nn.Module接口及源码分析
本文旨在介绍并解析Pytorch中的torch.nn.Module模块，它是构建和记录神经网络模型的基础。通过理解和掌握torch.nn.Module的作用、常用API及其使用方法，开发者能够构建更高效、灵活的神经网络架构。
torch.nn.Module主要作用在于提供一个基类，用于创建神经网络中的所有模块。它支持模块的树状结构构建，允许开发者在其中嵌套其他模块。通过继承torch.nn.Module，开发者可以自定义功能模块，如卷积层、池化层等，这些模块的前向行为在`forward()`方法中定义。例如：
python
import torch.nn as nn
class SimpleModel(nn.Module):
def __init__(self):
super(SimpleModel, self).__init__()
self.conv1 = nn.Conv2d(in_channels=3, out_channels=6, kernel_size=3)
self.conv2 = nn.Conv2d(in_channels=6, out_channels=, kernel_size=3)
def forward(self, x):
x = self.conv1(x)
x = self.conv2(x)
return x
torch.nn.Module还提供了多种API，包括类变量、重要概念（如parameters和buffer）、数据类型和设备类型转换、hooks等。这些API使开发者能够灵活地控制和操作模型的状态。
例如，可以通过requires_grad_()方法设置模块参数的梯度追踪，这对于训练过程至关重要。使用zero_grad()方法清空梯度，有助于在反向传播后初始化梯度。`state_dict()`方法用于获取模型状态字典，常用于模型的保存和加载。
此外，_apply()方法用于执行自定义操作，如类型转换或设备迁移。通过__setattr__()方法，开发者可以方便地修改模块的参数、缓存和其他属性。
总结而言，torch.nn.Module是Pytorch中构建神经网络模型的核心组件，它提供了丰富的API和功能，支持开发者创建复杂、高效的神经网络架构。通过深入理解这些API和方法，开发者能够更高效地实现各种深度学习任务。
PyTorch 源码解读之 torch.utils.data：解析数据处理全流程
文@ 目录 0 前言 1 Dataset 1.1 Map-style dataset 1.2 Iterable-style dataset 1.3 其他 dataset 2 Sampler 3 DataLoader 3.1 三者关系 (Dataset, Sampler, Dataloader) 3.2 批处理 3.2.1 自动批处理（默认） 3.2.2 关闭自动批处理 3.2.3 collate_fn 3.3 多进程处理 (multi-process) 4 单进程 5 多进程 6 锁页内存 (Memory Pinning) 7 预取 (prefetch) 8 代码讲解 0 前言 本文以 PyTorch 1.7 版本为例，解析 torch.utils.data 模块在数据处理流程中的应用。 理解 Python 中的迭代器是解读 PyTorch 数据处理逻辑的关键。Dataset、Sampler 和 DataLoader 三者共同构建数据处理流程。 迭代器通过实现 __iter__() 和 __next__() 方法，支持数据的循环访问。Dataset 提供数据获取接口，Sampler 控制遍历顺序，DataLoader 负责加载和批处理数据。 1 Dataset Dataset 包括 Map-style 和 Iterable-style 两种，分别用于索引访问和迭代访问数据。 Map-style dataset 通过实现 __getitem__() 和 __len__() 方法，支持通过索引获取数据。 Iterable-style dataset 实现 __iter__() 方法，适用于随机访问且批次大小依赖于获取数据的场景。 2 Sampler Sampler 用于定义数据遍历的顺序，支持用户自定义和 PyTorch 提供的内置实现。 3 DataLoader DataLoader 是数据加载的核心，支持 Map-style 和 Iterable-style Dataset，提供单多进程处理和批处理等功能。 通过参数配置，如 batch_size、drop_last、collate_fn 等，DataLoader 实现了数据的自动和手动批处理。 4 批处理 3.2.1 自动批处理（默认） DataLoader 默认使用自动批处理，通过参数控制批次生成和样本整理。 3.2.2 关闭自动批处理 关闭自动批处理，允许用户自定义批处理逻辑或处理单个样本。 3.2.3 collate_fn collate_fn 是手动批处理时的关键，用于整理单个样本为批次。 5 多进程 多进程处理通过 num_workers 参数启用，加速数据加载。 6 单进程 单进程模式下，数据加载可能影响计算流程，适用于数据量小且无需多进程的场景。 7 锁页内存 (Memory Pinning) Memory Pinning 技术确保数据在 GPU 加速过程中快速传输，提高性能。 8 代码讲解 通过具体代码分析，展示了 DataLoader 的初始化、迭代和数据获取过程，涉及迭代器、Sampler 和 Dataset 的交互。pytorch 源码解读进阶版 - 当你 import torch 的时候，你都干了些什么？（施工中）
使用PyTorch，无论是训练还是预测，你首先编写的代码通常如下所示：
依据Python代码的编写规则，导入逻辑将去相应的PyTorch site-package目录寻找__init__.py文件，具体路径为：${ python_path}/lib/python3.8/site-packages/torch/__init__.py
本章节聚焦于__init__.py 这个Python文件，从这里开始深入剖析，探究在一行简单的`import torch`命令背后，PyTorch是如何完成关键基础设置的初始化。
重点一：从`from torch._C import *`开始
在__init__.py 中，首先跳过一些系统环境的检查和判断逻辑，核心代码段为`from torch._C import *`，具体位置如下（github.com/pytorch/pytorch...）：
这代表了典型的C++共享库初始化过程，遵循CPython代码组织规则，`torch._C`模块对应一个名为PyInit__C的函数。在文件torch/csrc/stub.c中，找到了此函数的相关定义（github.com/pytorch/pytorch...）。
initModule被视为PyTorch初始化过程中的第一层调用栈，深入探讨此函数中的关键内容。