InAttention: Linear Context Extension for Transformers
原文英文，约100词，阅读约需1分钟。发表于：。本研究解决了变压器模型在上下文长度增加时显著增加的VRAM需求问题。通过使用InAttention替代自注意力机制，本方法在推理过程中实现了与上下文长度线性扩展，显著降低了推理过程中的VRAM使用，允许在消费级GPU上处理长序列。研究表明，微调能够高效扩展上下文长度，在不增加高训练成本的情况下提升长序列性能。
本研究使用InAttention替代自注意力机制，解决了变压器模型在上下文长度增加时VRAM需求增加的问题。该方法使VRAM使用量与上下文长度线性增长，降低资源需求，支持在消费级GPU上处理长序列。研究表明，微调可以在不增加训练成本的情况下扩展上下文长度，提升长序列性能。
