复旦NLP实验室的纪焘博士后研究了如何高效地将基于多头自注意力（MHA）的大语言模型迁移至多头潜在注意力（MLA）架构，提出了MHA2MLA框架。该框架通过部分RoPE保留和低秩近似，显著降低推理成本，仅需0.3%至0.6%的预训练数据，兼容现有技术，为资源高效的LLMs部署提供新路径。
本文提出了一种名为MHA2MLA的数据高效微调方法，旨在降低深度学习模型中多头注意力推理的成本。研究表明，该方法能够使用0.3%到0.6%的数据恢复性能，同时显著降低推理成本并压缩KV缓存。
完成下面两步后，将自动完成登录并继续当前操作。
