量子位
·
算力直降97%，GPT-3存储只用20MB？！这篇直接在1.58-bit下训练模型的新论文火了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
新技术“noise_step”使得在1.58-bit低精度下训练GPT-3模型成为可能，算力和存储需求分别减少97%和90%。该方法无需反向传播，通过随机性生成梯度估计，适合分布式训练，提升效率。
🎯
关键要点
- 新技术'noise_step'允许在1.58-bit低精度下训练GPT-3模型，算力需求减少97%，存储需求减少90%。
- 该方法无需反向传播，通过随机性生成梯度估计，适合分布式训练，提升效率。
- noise_step的核心在于允许模型直接在低精度下训练，而不需要传统的反向传播或动量方法。
- 使用noise_step可以减少存储需求，因为不需要存储大量的扰动向量。
- 训练步骤可以存储而非权重，可能大幅缩小模型尺寸，提升下载速度。
- 该方法允许对过去的训练步骤进行编辑，提高训练过程的控制和调整能力。
- 在分布式训练中，noise_step显著降低了通信量，提高了训练效率。
- 作者在分享论文时遇到arXiv拒绝的问题，现将论文放在GitHub上供人查看。
❓
延伸问答
什么是noise_step技术？
noise_step是一种新技术，允许在1.58-bit低精度下训练模型，减少算力和存储需求，且无需反向传播。
使用noise_step技术的优势是什么？
使用noise_step可以减少97%的算力需求和90%的存储需求，同时提高训练效率和控制能力。
noise_step如何影响分布式训练？
noise_step通过减少每个扰动所需的位数，显著降低了通信量，从而提高了分布式训练的效率。
为什么不需要反向传播？
noise_step通过引入随机性生成梯度估计，允许模型直接在低精度下训练，因此不需要传统的反向传播。
该技术如何影响模型的存储需求？
由于不需要存储大量的扰动向量，noise_step可以大幅减少模型的存储需求，甚至使GPT-3模型只需20MB。
论文为何被arXiv拒绝？
论文被arXiv拒绝是因为缺乏背书，作者最终将其放在GitHub上供人查看。
➡️
