随着大语言模型对长文本需求的增加，注意力机制的计算成本和键值缓存问题愈发明显。清华大学等团队提出了混合稀疏注意力（MoA）方法，通过不同稀疏度的注意力头，显著提升了上下文理解能力和计算效率，减少了内存需求，优化了长文本处理效果。实验结果表明，MoA在多种模型上表现优异，提高了信息检索准确率和生成吞吐量。