复旦NLP实验室的纪焘博士后研究了如何高效地将基于多头自注意力（MHA）的大语言模型迁移至多头潜在注意力（MLA）架构，提出了MHA2MLA框架。该框架通过部分RoPE保留和低秩近似，显著降低推理成本，仅需0.3%至0.6%的预训练数据，兼容现有技术，为资源高效的LLMs部署提供新路径。
本文提出了一种名为MHA2MLA的方法，旨在解决深度学习模型中多头注意力的高成本问题。该方法通过使用0.3%到0.6%的数据，显著降低推理成本并恢复性能，同时压缩KV缓存。
完成下面两步后，将自动完成登录并继续当前操作。
