量子位
·
真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
MIT研究团队提出递归语言模型RLM，解决大模型在处理超长文本时的上下文腐烂问题。RLM通过交互式Python环境动态拆解任务，实现千万级token处理能力，显著提升推理性能，无需修改模型架构。
🎯
关键要点
- MIT CSAIL研究团队提出递归语言模型RLM，解决上下文腐烂问题。
- RLM无需修改模型架构，能让顶尖模型处理千万级token的超长文本。
- RLM通过交互式Python环境动态拆解任务，提升推理性能。
- 上下文腐烂问题导致大模型在处理超长文本时推理性能下降。
- 主流解决办法包括上下文压缩、检索增强生成RAG和架构级优化。
- RLM将上下文处理外包给可交互的Python编程环境REPL。
- 模型通过编写代码对文本进行关键词筛选和逻辑拆分，减少无效信息。
- RLM有效处理规模已突破千万级Token，显著超越其他模型。
- 在复杂长文本任务中，RLM的F1分数显著高于基础模型。
- RLM在大多数常规任务场景中性价比高，但在高复杂度任务中成本增加。
- RLM是一种通用推理策略，理论上适用于任何模型。
