本研究提出NExtLong框架,旨在解决大语言模型在长上下文训练中对长文档的处理不足。通过负文档扩展和抽取硬负样本,增强模型对长距离依赖性的建模能力。实验结果表明,该框架在相关基准测试中显著提升了性能。
完成下面两步后,将自动完成登录并继续当前操作。