那些年，我们没想过的数值稳定算法
💡
原文中文，约14400字，阅读约需35分钟。
📝
内容提要
深度学习模型训练中，数值计算误差传播可能导致梯度爆炸或消失。本文探讨了提高数值稳定性的方法，包括重写数学公式、采用不同算法、提高计算精度和限制输入范围等策略，以增强计算结果的准确性和稳定性。
🎯
关键要点
- 深度学习模型训练中，数值计算误差可能导致梯度爆炸或消失。
- 提高数值稳定性的方法包括重写数学公式、采用不同算法、提高计算精度和限制输入范围。
- IEEE754标准用于表示浮点数，主要分为符号位、指数位和尾数位。
- 数值计算中常见的问题包括溢出、下溢和精度损失。
- 为提高数值稳定性，可以重写数学公式，使用其他算法，提升精度或改变数值类型，限制输入范围。
- 除法运算在深度学习中存在数值稳定性问题，需注意promote type。
- 在反向传播中，除法的数值稳定性可以通过先计算x/y再计算导数来提高。
- prod操作和range函数也存在数值稳定性问题，需采用更稳定的写法。
- 线性插值的数值稳定性可以通过分段表示来保证。
- 在求均值和方差时，使用Welford算法可以提高数值稳定性。
- log1p和expm1函数用于处理接近0的数值，避免精度损失。
- softmax函数的数值稳定性可以通过减去最大值来实现。
- softplus函数的数值稳定性可以通过分段表示来避免溢出和下溢。
- 数值稳定性是深度学习中的重要问题，影响模型的训练和性能。
➡️
