算术变压器可以在操作数长度和数量上实现长度泛化

BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本文研究解码器Transformer模型在不同位置编码下的长度泛化效果，发现NoPE在推理和数学任务中表现优异，无需额外计算。NoPE可表示绝对和相对位置嵌入，主要呈现T5相对位置模式。scratchpad格式对性能影响大，不总是有助于长度泛化。研究表明解码器-only的Transformer无需显式位置嵌入即可在长序列上泛化良好。