Apple Machine Learning Research
·
压缩后的大型语言模型会遗忘知识吗？一项具有实际意义的实验研究
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文探讨了压缩大型语言模型（LLMs）对知识的影响，提出了“知识遗忘”和“知识位移”假设。实验表明，动态提示（IDP）能有效恢复压缩后的性能，且比传统重训练方法更高效，节省参数和减少延迟。
🎯
关键要点
- 压缩大型语言模型（LLMs）会导致性能下降，尤其是在知识密集型任务中。
- 提出了两个假设：知识遗忘和知识位移。
- 知识遗忘假设认为压缩后模型需要重新学习知识。
- 知识位移假设认为只需通过输入侧增强（如提示）来恢复知识相关性能。
- 实验表明，动态提示（IDP）能有效恢复压缩后的性能，且比传统重训练方法更高效。
- 使用IDP可以节省参数大小21倍，减少推理延迟60%。
- 实验结果支持知识位移假设，提供了一种新机制来恢复压缩后的LLM性能。
- 对比提示和重训练模型的注意力和激活模式，显示两者在性能恢复上有不同的机制。
➡️
