基于选择的结构化推理：迈向高效的多模态搜索智能体
内容提要
SSR框架将多模态智能体推理改为从预设候选语句中选择而非自由生成，无需辅助任务头，支持并行评分。在七个搜索基准上，2B和4B模型表现与同类领先智能体相当，每轮推理延迟降低超90%，单题总推理延迟降低28%至54%。
延伸解读
小模型推理效率的突破
文章指出，小模型在自由生成推理时容易产生冗长且无用的内容，导致推理成本高昂。SSR通过将推理改为从预设候选语句中选择，避免了自由生成的低效问题。在2B和4B模型上，每轮推理延迟降低超过90%，总推理延迟降低28%至54%，同时保持与同类领先智能体相当的成功率。这表明对于资源受限的场景，SSR提供了一种高效替代方案。
并行评分机制的技术细节
SSR利用预定义的推理候选，通过教师强制预填充在共享上下文KV缓存中并行计算候选内和候选间的令牌似然度。这种并行评分机制无需辅助任务头，简化了模型结构，同时大幅提升推理速度。文章强调，该方法在多种强化学习目标和监督微调下均能实现效率增益，且不牺牲任务性能，说明其具有较好的泛化性。
性能与效率的平衡验证
在七个多模态搜索基准上，SSR使用2B和4B模型取得了与同规模领先搜索智能体相当的平均成功率，同时显著降低延迟。这验证了选择式推理在保持任务表现的同时提升效率的可行性。文章未提及与更大规模模型的对比，因此SSR的优势主要体现在同规模模型中，为小模型部署提供了实用参考。
Q&A
SSR框架是什么？它如何改变多模态智能体的推理方式？
SSR（Selection-based Structured Reasoning）是一个将推理重新表述为选择而非开放式生成的框架。它将重复出现的高层推理表示为预先指定的、可重用的自然语言候选，模型在每一轮根据当前上下文从这些候选语句中选择，而无需辅助任务头。
SSR如何实现并行评分？
SSR使用预先指定的推理轨迹，通过教师强制预填充（teacher-forced prefilling）在共享上下文KV缓存中同时计算候选内部和候选之间的令牌似然，从而实现并行评分。
SSR在哪些基准上进行了评估？使用了什么规模的模型？
SSR在七个多模态搜索基准上进行了评估，使用了2B和4B模型。
SSR相比传统自由生成推理，在效率上有哪些提升？
SSR将每轮推理延迟降低了超过90%，并将每个问题的总模型推理延迟降低了28%至54%。
SSR在任务性能上是否有所牺牲？
没有牺牲任务性能。SSR在多个强化学习目标和监督微调下，实现了与同规模领先搜索智能体相当的平均成功率。
SSR主要解决了小模型在多模态智能体中的什么问题？
SSR主要解决了小模型由于容量有限而生成冗长但无用的推理，导致推理成本高的问题。通过将推理改为选择，SSR减少了推理长度和计算开销。
