量子位
·
清华厦大等提出“无限长上下文”技术，100万大海捞针全绿，Llama\Qwen\MiniCPM都能上分
💡
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
清华、厦大等提出的LLMxMapReduce技术突破了大模型的记忆限制，实现了“无限长”上下文。该技术通过将长文本切分为片段并并行处理，提取关键信息并汇总答案。实验表明，结合此框架的模型在处理超长文本时表现优异且速度较快，具有广泛的应用潜力。
🎯
关键要点
- 清华、厦大等提出的LLMxMapReduce技术突破了大模型的记忆限制，实现了无限长上下文。
- LLMxMapReduce通过将长文本切分为片段并并行处理，提取关键信息并汇总答案。
- 该技术结合结构化通信协议和上下文置信度校准机制，有效处理跨片段信息。
- LLMxMapReduce在处理超长文本时表现优异，速度较快，具有广泛的应用潜力。
- 与其他分治式长文本处理方法相比，LLMxMapReduce在处理跨片段依赖和冲突方面具有优势。
- 实验结果显示，结合LLMxMapReduce框架的模型在InfiniteBench评测中得分超越了多种闭源和开源模型。
- LLMxMapReduce的结构化通信协议和上下文置信度校准机制对框架性能至关重要。
- 在大海捞针测试中，LLMxMapReduce能够有效处理长度达到1280K token的序列，表现出卓越能力。
- LLMxMapReduce的处理速度优于其他同类型分治框架，具有明显的速度优势。
➡️
