只需缓存一次：用于语言模型的解码器 - 解码器架构
内容提要
本文介绍了多种基于编码器-解码器结构的模型和方法，如FastCoT、YOCO和CoCa。这些方法通过优化解码过程、数据增强和跨模态学习，显著提升了模型在图像识别和自然语言处理任务中的性能和推理速度，实验结果显示效率和准确性均有显著改善。
延伸解读
解码器-解码器架构的共性思路
文章汇总的多个模型都围绕编码器-解码器结构做优化，核心是减少重复计算。例如PiD通过一次编码、并行解码，避免重复输入编码；SkipDecode则利用批处理推理和KV缓存优化，实现2至5倍加速。这些方法共同表明，在生成任务中，将编码与解码解耦、复用中间表示，是提升效率的有效途径。
效率与性能的权衡实践
FastCoT通过可变上下文窗口并行解码，推理时间缩短近20%，性能仅有微不足道的下降；SkipDecode在加速2至5倍的同时保持很小的回归。这些结果说明，在特定任务上，通过调整解码策略或提前终止计算，可以在几乎不损失精度的情况下获得显著加速，但需注意其适用条件，如批处理推理和KV缓存兼容性。
跨模态与数据增强的独立价值
CoCa将图像和文本编码器与解码器联合预训练，在视觉任务上达到最先进性能；YOCO将图像切分增强，无需调参即可提升多种增强方法和网络架构的表现。两者分别从跨模态表示学习和数据多样性角度提升模型能力，与解码优化形成互补，表明模型性能提升可以来自架构、训练策略和数据增强等多个维度。
Q&A
FastCoT模型的主要优势是什么？
FastCoT模型通过并行解码和可变上下文窗口提高推理效率，推理时间缩短近20%。
YOCO方法是如何提高样本多样性的？
YOCO通过将图像分为两个部分进行数据增强，鼓励神经网络从局部信息中识别对象，从而提高样本多样性。
PiD模型如何提高计算效率？
PiD模型通过一次编码和并行解码减少内存占用，并提高结构化输出和问答任务的效率。
键值缓存方法的作用是什么？
键值缓存方法可以提高预训练模型的分类性能，并增强对抗攻击的鲁棒性。
CoCa模型在视觉任务中的表现如何？
CoCa模型在各种视觉任务上实现了最先进的性能，能够有效进行跨模态表示。
SkipDecode方法的主要效果是什么？
SkipDecode方法在批处理推理中实现了大语言模型的速度提升2倍至5倍，同时保持小的回归。
