The Verge ·

微软用LASER消除大语言模型的不准确性

💡 原文英文，约500词，阅读约需2分钟。

📝

内容提要

微软研究院提出LASER方法，将大语言模型中的权重矩阵替换为更小的近似矩阵，反而提升了模型准确率。在RoBERTa、Llama 2和GPT-J上测试，性能最高提升20至30个百分点，例如GPT-J性别预测准确率从70.9%升至97.5%。该方法有望减少AI事实错误。

🔎

延伸解读

LASER 的反直觉之处

通常认为，用近似矩阵替换大语言模型的权重矩阵会丢失信息，导致性能下降。但微软的 LASER 方法却反其道而行，通过层选择性秩降低，反而提升了模型准确率。研究人员在干预后观察到模型损失不升反降，这挑战了传统认知，表明模型可能过度依赖某些权重，适当简化反而能增强泛化能力。

实测效果与提升幅度

在 RoBERTa、Llama 2 和 GPT-J 三个开源模型上，LASER 均带来了性能提升，部分任务准确率提高了 20 到 30 个百分点。例如，GPT-J 在基于传记的性别预测任务中，准确率从 70.9% 跃升至 97.5%。这些结果说明该方法在不同模型和任务上具有可复现的增益，但具体提升幅度因任务而异。

对减少事实错误的潜在意义

大语言模型常因事实错误和幻觉而受诟病，这些问题可能带来实际危害。LASER 通过提升模型准确率，有望减少此类错误。虽然文章未详细说明其作用机制，但实验表明，对模型内部权重进行选择性干预，可能成为改善模型可靠性的一个方向，值得进一步研究。

❓

Q&A

微软的LASER方法是什么？

LASER是微软研究院提出的Layer-Selective Rank Reduction方法，通过将大语言模型中的权重矩阵替换为更小的近似矩阵，反而提升模型准确率。

LASER方法在哪些模型上进行了测试？

LASER在三个开源模型上进行了测试：RoBERTa、Llama 2和Eleuther的GPT-J。

LASER方法能提升多少模型性能？

性能提升有时可达20到30个百分点。例如，GPT-J在基于传记的性别预测任务上，准确率从70.9%提升到了97.5%。

为什么LASER用近似矩阵替换权重矩阵反而能提升准确率？

尽管用近似矩阵替换权重矩阵会丢弃部分信息，但研究发现，如果进行正确类型的LASER干预，模型损失不会上升，反而会下降，从而提升准确率。

LASER方法对减少AI事实错误有什么帮助？

LASER通过提升模型准确率，有望减少AI的事实错误。AI模型常犯事实错误，而LASER能提高准确性，从而降低错误率。

LASER方法是谁提出的？

LASER方法由微软研究院Lab NYC和AI Frontiers的高级研究员Dipendra Misra在微软研究论坛上提出。

🏷️