/cdn.vox-cdn.com/uploads/chorus_asset/file/24347780/STK095_Microsoft_04.jpg)
The Verge
·
微软用LASER消除大型语言模型的不准确性
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
微软研究实验室的研究员Dipendra Misra介绍了Layer-Selective Rank Reduction（LASER）的应用，该方法可以提高大型语言模型的准确性。通过LASER，研究人员可以用较小的权重矩阵替换一个权重矩阵，而不会降低模型的准确性。测试结果显示，使用LASER进行干预有时可以提高20到30个百分点的模型改进。
🎯
关键要点
- 微软研究实验室的研究员Dipendra Misra介绍了Layer-Selective Rank Reduction（LASER）的方法。
- LASER可以用较小的权重矩阵替换一个权重矩阵，而不会降低模型的准确性。
- 测试结果显示，使用LASER进行干预有时可以提高20到30个百分点的模型改进。
- Misra的团队在RoBERTa、Llama 2和Eleuther的GPT-J等三个开源模型上成功应用了LASER。
- 例如，GPT-J在基于传记的性别预测中的准确率从70.9%提高到97.5%。
➡️
