量子位
·
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
阿里通义实验室推出了ZeroSearch，这是一个基于强化学习的框架，无需真实搜索引擎。通过模拟搜索环境和轻量微调，该框架提升了大模型的检索能力，降低了API成本。实验结果显示，ZeroSearch在多种问答任务中表现优异，兼容多种强化学习算法，具备良好的训练稳定性和灵活性，为智能检索提供了新思路。
🎯
关键要点
- 阿里通义实验室推出了ZeroSearch，一个无需真实搜索引擎的强化学习框架。
- ZeroSearch通过模拟搜索环境和轻量微调提升大模型的检索能力，降低API成本。
- 该框架兼容多种强化学习算法，具备良好的训练稳定性和灵活性。
- ZeroSearch使用3B参数的LLM作为检索模块，能够有效提升搜索能力。
- 通过课程化抗噪训练，模型逐步适应更复杂的检索任务，提升推理能力。
- ZeroSearch消除了与真实搜索引擎交互的API费用，使大规模强化学习训练更经济可行。
- 实验结果显示，ZeroSearch在多个问答任务中显著优于现有基线方法。
- 使用7B和14B参数的检索模块，ZeroSearch的性能可与谷歌搜索相当或超越。
- ZeroSearch的学习曲线平滑，训练过程中的稳定性和优越性明显。
- 该框架为未来智能检索提供了新的思路，解决了现有方法中的成本和稳定性问题。
❓
延伸问答
ZeroSearch是什么？
ZeroSearch是阿里通义实验室推出的一种无需与真实搜索引擎交互的强化学习框架。
ZeroSearch如何提升大模型的检索能力？
ZeroSearch通过模拟搜索环境和轻量微调来提升大模型的检索能力，降低API成本。
ZeroSearch的训练过程有什么特点？
ZeroSearch采用课程化抗噪训练，逐步降低生成文档的质量，使模型适应更复杂的检索任务。
ZeroSearch与传统搜索引擎的主要区别是什么？
ZeroSearch消除了与真实搜索引擎交互的API费用，使得大规模强化学习训练更经济可行。
ZeroSearch在问答任务中的表现如何？
实验结果显示，ZeroSearch在多个问答任务中显著优于现有基线方法，包括单跳和多跳问答任务。
ZeroSearch支持哪些强化学习算法？
ZeroSearch兼容多种强化学习算法，包括PPO和GRPO，提供不同的优化策略。
➡️
