InfoQ
·
麻省理工学院的递归语言模型提升了长上下文任务的表现
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
麻省理工学院的研究人员提出了一种递归语言模型（RLM），旨在提升大语言模型（LLM）在长上下文任务中的表现。RLM通过编程环境递归处理输入，能够处理比基础LLM长100倍的提示。其核心在于利用编程语言（如Python）生成代码，以分块或搜索正则表达式等方式预处理提示。研究表明，RLM在长上下文基准测试中优于其他策略，有效解决了上下文窗口限制的问题。
🎯
关键要点
- 麻省理工学院的研究人员提出了一种递归语言模型（RLM），旨在提升大语言模型（LLM）在长上下文任务中的表现。
- RLM通过编程环境递归处理输入，能够处理比基础LLM长100倍的提示。
- RLM的核心思想是利用编程语言（如Python）生成代码，以分块或搜索正则表达式等方式预处理提示。
- 研究表明，RLM在长上下文基准测试中优于其他策略，有效解决了上下文窗口限制的问题。
- 尽管前沿LLM通常具有非常大的上下文窗口，但用户发现当上下文变大时，模型会出现上下文衰退的问题。
- MIT将RLM实现为Python REPL Notebook，允许根语言模型通过编写代码与REPL环境交互。
- 这种方案的好处在于根模型不会接收完整的上下文作为输入，从而避免了上下文窗口的拥堵。
- MIT团队成员Alex Zhang称这种方法为“苦涩教训的方式”，强调局部查看输入的有效性。
- 实现RLM的代码已在GitHub上发布。
➡️
