学习让我快乐
·
PyTorch 自动求导引擎：1
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
在分析Autograd引擎之前，需要理解导数和偏导数的概念。偏导数是在固定其他变量的情况下对某一变量求导。若函数可微，其导数表现为线性变换。通过链式法则，复合函数的导数可通过各部分导数相乘得到。PyTorch的Autograd引擎在执行操作时构建计算图，累加共享输入的梯度，以确保计算的正确性。
🎯
关键要点
- 在分析Autograd引擎之前，需要理解导数和偏导数的概念。
- 偏导数是在固定其他变量的情况下对某一变量求导。
- 若函数可微，其导数表现为线性变换。
- 通过链式法则，复合函数的导数可通过各部分导数相乘得到。
- PyTorch的Autograd引擎在执行操作时构建计算图，累加共享输入的梯度。
- 在PyTorch中，梯度的计算是通过反向传播实现的，而不是直接构造矩阵。
- 当多个函数共享同一个输入时，针对该输入的关于输出的梯度会被累加。
- 同一个变量可以通过不同路径影响最终输出的梯度，所有路径的梯度需要相加。
➡️
