When Precision Meets Position: BFloat16 Breaks RoPE in Long-Context Training

本研究探讨了BFloat16格式与Rotary Positional Embedding（RoPE）结合时在长上下文训练中的数值问题。通过开发AnchorAttention方法，解决了位置编码偏差，提升了长上下文处理能力，训练时间缩短超过50%，同时保持了大型语言模型的任务能力。