视觉 Transformer 的旋转位置嵌入

BriefGPT - AI 论文速递 · 2024-03-20T00:00:00Z

本论文介绍了共振RoPE和PosGen两种方法，用于改进大规模语言模型的性能。共振RoPE通过插值精化OOD位置的RoPE特征，提高模型性能。PosGen是为TSTL场景中的行为分析设计的基准，能够分离出生成长上下文令牌的难度和识别新令牌位置的挑战。实验证明，应用共振RoPE后，Transformer在识别OOD位置方面表现更好，性能更优秀。