关于推理搜索交错LLM代理的强化学习实证研究
本研究解决了在训练复杂推理的搜索代理时，强化学习的最佳设计尚未清晰的问题。通过系统的实证研究，我们发现格式化奖励能够有效提高最终性能，而中间检索奖励的影响有限；LLM的规模及初始化方式对强化学习结果显著影响；搜索引擎的选择在RL训练动态和代理推理的稳健性中起着关键作用。这些发现为现实世界应用中的LLM搜索代理的构建和部署提供了重要指导。
本研究探讨了强化学习在复杂推理搜索代理训练中的最佳设计，发现格式化奖励显著提升性能，而中间检索奖励影响有限。LLM的规模和初始化方式对结果有重要影响，搜索引擎的选择对训练动态和推理稳健性至关重要。这些发现为LLM搜索代理的应用提供了指导。
