.ai | PyTorch 中的自动微分 autograd

本文探讨了PyTorch的自动微分机制，强调计算图和反向传播的重要性。

自动微分主要针对PyTorch张量，神经网络通过torch.nn.Module实现，计算过程封装在forward()方法中。

张量的创建与操作包括使用torch.tensor()、torch.from_numpy()等方法。

张量的尺寸、计算规则和原位计算等基本操作被详细介绍。

requires_grad参数控制张量是否受到自动微分机制的影响。

神经网络的参数通过net.parameters()和net.buffers()方法获取，前者受autograd控制。

计算图的构建是动态的，autograd根据代码自动生成计算图。

计算图的最终节点只能执行一次.backward()，多次执行会报错。

中间节点的.grad需要在.backward()之前调用.retain_grad()才能访问。

特殊操作torch.no_grad()用于通知autograd某些操作不需要记录在计算图中。

优化器通过torch.optim模块提供参数更新的方法，包括.step()和.zero_grad()。