大型语言模型的头部共享注意力
内容提要
该文综述权重共享在神经网络中的应用，包括：共享注意力权重与隐藏状态加速Transformer翻译；协作式多头注意力减少参数；多语言翻译中局部共享提升精度；权重共享影响架构搜索；MHE机制提高内存效率；LongHeads扩展大模型长文本处理；子词嵌入重用可减参并提升性能。
延伸解读
权重共享在注意力机制中的多重收益
文章综述的多项研究表明，共享注意力权重不仅能减少模型参数，还能提升计算效率。例如，共享key/query投影可降低参数数量，同时保持准确性和速度；使用单个共享投影矩阵和多个头嵌入（MHE）能显著提高内存效率，且仅需可忽略的附加参数。这些发现提示，权重共享是平衡模型性能与资源消耗的有效策略。
多语言翻译中的共享策略选择
在多语言神经机器翻译中，完全参数共享能提高BLEU得分，但对差异较大的语言反而导致得分下降。针对这一问题，局部参数共享方法被提出，能显著提高翻译精度。此外，通过共享单个注意力机制实现多语言翻译，仅线性增加参数即可提升低资源语言对的翻译质量。这表明共享策略需根据语言差异灵活调整。
权重共享对架构搜索与优化的影响
权重共享在神经架构搜索中会导致模型表现差异显著，但也能从共享权重的超级网络中提取有价值信息。适度减少权重共享可降低差异性并提高性能。同时，在卷积神经网络中，共享权重对优化有理论上的必要性，不同目标函数频率的概念揭示了其优化差异。这些研究提醒我们，权重共享并非总是有益，需权衡其利弊。
长文本处理与嵌入重用的实践进展
LongHeads框架无需额外训练，通过让不同层的不同头共同处理更长的上下文，有效扩展了大语言模型的可用上下文窗口。此外，子词嵌入重用方法通过从下到上连续捆绑层，在输出时重用嵌入，最佳词素感知模型在多种语言下性能优于词级模型，且参数减少20%-87%。这些进展展示了权重共享在提升长文本理解和参数效率方面的潜力。
Q&A
共享注意力权重和隐藏状态重用如何加速Transformer机器翻译？
通过共享注意力权重和重用隐藏状态，该模型在十项WMT和NIST OpenMT任务上实现了平均1.3倍的速度提升，几乎不降低BLEU分数，并且比未使用注意力缓存的基线快16倍。
协作式多头注意力如何减少Transformer参数？
协作式多头注意力通过共享key/query投影来降低注意力层参数数量，可将预训练的多头注意力层重新参数化为协同注意力层，使key和query投影大小减小4倍，而准确性和速度保持不变。
多语言神经机器翻译中参数共享有什么效果？
完全参数共享能提高BLEU得分，但对于差异较大的语言，BLEU得分反而下降；局部参数共享方法能显著提高翻译精度。
权重共享对神经架构搜索有什么影响？
权重共享导致模型表现差异显著，但也能从共享权重的超级神经网络中提取有价值信息；适度减少权重共享可减少差异性并提高性能。
MHE机制如何提高内存效率？
MHE使用单个共享投影矩阵和多个头嵌入，在多个下游任务上显著提高内存效率，且相对于MHA仅需可忽略的附加参数。
LongHeads如何扩展大语言模型的长文本处理能力？
LongHeads是一个无需额外训练的框架，通过选择和关注重要的上下文块，让不同层的不同头共同处理更长的上下文，有效扩展现有模型的可用上下文窗口。
子词嵌入重用如何减少模型参数并提升性能？
在多层输入嵌入模型中，从下到上连续捆绑层以在输出时重用，最佳词素感知模型在多种语言下比词级模型性能更好，且参数减少20%-87%。
