Lei Mao's Log Book
·
高性能计算与深度学习中的数值误差
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
数字错误在计算机程序中常见，特别是在高性能计算和深度学习应用中。高性能计算应用使用双精度浮点数减少错误，而神经网络应用使用单精度浮点数。然而，神经网络在训练时若没有提高对数字错误的鲁棒性，部署时可能受到影响。
🎯
关键要点
- 数字错误在计算机程序中常见，尤其是在高性能计算和深度学习应用中。
- 高性能计算应用对数字错误非常敏感，通常使用双精度浮点数来减少错误。
- 高性能计算应用中的数值错误可能导致算法发散或收敛到错误的解决方案。
- 神经网络应用通常使用两种软件，训练和推理，导致数值错误的产生。
- 即使使用相同的IEEE标准数据类型，因软件实现不同，数值错误仍然存在。
- 神经网络对数值错误通常具有鲁棒性，因为它们在大量数据上训练，并可以使用额外技巧提高鲁棒性。
- 在过拟合实验中，如果神经网络使用少量数据训练，可能在不同推理软件中表现不佳。
➡️
