Transformer 中的加权分组查询注意力
内容提要
本文介绍了AsymGQA、GQA和DG-Attention等多种改进的注意力机制，旨在提升模型性能和硬件效率。这些方法通过优化查询头分组和关键值缓存，在图像分类和语言模型推断中显著提高了准确性并降低了模型大小。
延伸解读
从MHA到GQA：权衡性能与效率
文章指出，GQA通过增加中间的键值头数目，在训练速度和质量之间取得平衡，解决了模型性能与硬件效能之间的权衡问题。AsymGQA则进一步采用激活信息驱动的不对称分组，将MHA不对称地分组为GQA，从而在模型性能上取得更好表现。这些方法共同体现了注意力机制在效率与效果之间的持续优化。
键值缓存优化：降低内存需求
针对自回归大型语言模型推断，查询头分组方法能减少键值缓存需求，并在细调后达到较高准确性。交叉层注意力（CLA）设计进一步减小缓存大小，在1B和3B参数模型实验中提供内存与准确性的帕累托改进，使推断能处理更长序列和更大批次。这些优化直接提升了长序列场景的实用性。
视觉任务中的注意力改进
GQKVA在图像分类中提高约0.3%准确度并减小约4%模型大小。DG-Attention动态分组查询并选择最相关键值，在多个视觉任务中超越现有技术。GroupMixFormer基于Group-Mix Attention，在ImageNet-1K上达到86.2% Top-1准确率，在ADE20K上达到51.2% mIoU，且参数更少。这些方法展示了注意力机制在视觉领域的广泛适用性。
长序列建模的替代方案
Mega采用单头门控注意力机制，结合指数移动平均引入位置感知的局部依赖归纳偏差，通过分块实现线性时间和空间复杂度。在长序列建模、神经机器翻译、自回归语言建模及图像和语音分类等测试中，Mega优于其他序列模型，包括Transformer变体和状态空间模型。这为长序列任务提供了高效替代方案。
Q&A
AsymGQA 方法的主要优势是什么？
AsymGQA 方法通过不对称分组提升模型性能，解决了模型性能与硬件效能之间的权衡问题。
GQA 方法如何改善训练速度和质量？
GQA 方法通过增加中间的键值头数目，实现了训练速度和质量之间的平衡。
动态分组注意力 (DG-Attention) 的特点是什么？
DG-Attention 动态选择最相关的密钥/值，能够在多个视觉任务中超越现有技术。
GroupMixFormer 模型在图像分类中的表现如何？
GroupMixFormer 模型在 ImageNet-1K 上取得了 86.2% 的 Top-1 准确率，表现出色。
QnA 层的优势是什么？
QnA 层在速度和内存复杂度方面有显著改善，同时保持与最先进模型相当的准确度。
Mega 方法在长序列建模中的表现如何？
Mega 方法在长序列建模、神经机器翻译等任务中表现优于其他序列模型，包括 Transformer 的变体。
