BriefGPT - AI 论文速递 · 2023-10-23T00:00:00Z

通过在分段序列上训练扩展语言模型的输入上下文

📝

内容提要

该文介绍了一种用于训练现代大型语言模型的上下文长度外推方法，以处理更长的输入序列。作者测试了三个新的评估任务，并发现线性标度是扩展上下文长度的最佳方法。作者还发布了三个新的长上下文模型，名为Giraffe，并提供了复制结果的代码。

🏷️

标签

上下文长度外推 线性标度 评估任务 语言模型 长上下文模型