量子位
·
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
内容提要
阿里通义实验室推出MaskSearch框架，提升大模型推理与搜索能力。小模型表现接近大模型，兼容监督微调和强化学习，显著提升开放域问答性能。通过检索增强型掩码预测任务，模型有效学习信息处理与搜索引擎使用，适应多领域任务。
关键要点
-
阿里通义实验室推出MaskSearch框架，提升大模型推理与搜索能力。
-
小模型表现接近大模型，兼容监督微调和强化学习。
-
MaskSearch通过检索增强型掩码预测任务有效学习信息处理与搜索引擎使用。
-
MaskSearch的预训练任务为检索增强型掩码预测（RAMP），模型需借助外部知识库预测被掩盖的文本片段。
-
MaskSearch在多个开放域问答数据集上显著提升性能，尤其在领域外数据集上表现突出。
-
监督微调和强化学习两种训练方式与MaskSearch框架兼容，RL在RAMP任务上展现更高性能。
-
课程学习策略通过难度分级训练样本，帮助模型逐步提升推理能力。
-
掩码策略和奖励函数对模型性能有显著影响，需与模型能力匹配以获得最佳效果。
-
MaskSearch致力于提升大型语言模型的智能体推理与搜索能力，实现外部知识的深度整合。
延伸解读
小模型的潜力
MaskSearch框架的推出表明，小模型在推理和搜索任务中可以与大模型相媲美。这一发现对资源有限的开发者尤为重要，因为他们可以利用小模型实现高效的问答系统，而无需依赖庞大的计算资源。
训练方法的兼容性
MaskSearch框架兼容监督微调和强化学习两种训练方法，提供了灵活的训练选择。开发者可以根据具体任务需求选择合适的训练方式，从而优化模型性能，尤其是在复杂的开放域问答任务中。
掩码策略的重要性
掩码策略在MaskSearch的预训练任务中起着关键作用。选择合适的掩码难度不仅影响模型的学习效果，还能提升其在多领域任务中的适应能力。因此，开发者在设计训练任务时需谨慎考虑掩码策略的设置。
强化学习的优势
在MaskSearch的训练过程中，强化学习展现出更高的性能上限，尤其是在动态采样策略和混合奖励机制的支持下。这表明，强化学习不仅能提升模型的搜索能力，还能优化其推理流程，为复杂任务提供更强的支持。
延伸问答
MaskSearch框架的主要功能是什么？
MaskSearch框架旨在提升大模型的推理与搜索能力，尤其在开放域问答任务中表现显著。
小模型在MaskSearch框架下的表现如何？
小模型在MaskSearch框架下的表现接近大模型，显示出显著的性能提升。
MaskSearch如何进行预训练？
MaskSearch通过检索增强型掩码预测任务（RAMP）进行预训练，模型需借助外部知识库预测被掩盖的文本片段。
MaskSearch框架支持哪些训练方法？
MaskSearch框架兼容监督微调（SFT）和强化学习（RL）两种训练方法。
课程学习策略在MaskSearch中的作用是什么？
课程学习策略通过难度分级训练样本，帮助模型逐步提升推理能力。
MaskSearch在开放域问答数据集上的表现如何？
MaskSearch在多个开放域问答数据集上显著提升性能，尤其在领域外数据集上表现突出。
