本研究提出了一种使用超几何位置编码（HyPE）来编码令牌相对位置的新方法，支持梯度反向传播。通过仔细的超参数选择，HyPE 可以近似于 ALiBi 的注意力偏置，具有良好的泛化能力。

HyPE：带有双曲偏差的相对位置编码的注意力
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证