Why Is the Effective Context Length of Large Language Models Insufficient?

本研究探讨了开源大型语言模型（LLMs）在有效上下文长度不足的问题。通过引入ShifTed Rotray position embeddING（STRING）优化位置嵌入，显著提升了模型性能。实验结果表明，STRING在不额外训练的情况下，改善了模型在长上下文基准测试中的表现，创造了新的最优结果。