生成验证器：将奖励建模作为下一标记预测
内容提要
本文介绍了一个包含8.5K小学数学问题的数据集GSM8K，探讨了提升多步推理模型性能的方法，包括使用验证器和奖励模型。研究表明，自我纠正训练和自然语言反馈显著提高了模型在数学推理任务中的准确性。Eurus模型在多个基准测试中表现优异，展示了其在复杂推理任务中的潜力。
延伸解读
验证器与奖励模型：提升多步推理的关键
文章指出，多步数学推理任务中，验证器通过验证模型输出的正确性并排名选择最优解，能有效提高性能。奖励模型则用于启发式搜索，在数学推理和代码生成任务中表现更优。这些方法不依赖模型自身纠错，而是引入外部评估机制，为提升推理准确性提供了新思路。
自我纠正与自然语言反馈的增益与局限
自我纠正训练利用正确解引导模型批判错误并生成纠正理由，在数学和常识推理数据集上提升了性能。引入步骤式自然语言反馈作为标签，能显著增强验证器，例如GSM8K准确率从86.6%提升至88.2%。但文章也指出，使用弱自验证器决定何时纠正存在限制，反馈质量至关重要。
Eurus模型与UltraInteract数据集
Eurus模型基于Mistral-7B和CodeLlama-70B微调，在数学、代码生成和逻辑推理基准上表现领先。其成功主要归功于UltraInteract数据集，该数据集专为复杂推理设计，支持监督微调和偏好学习。文章还发现某些偏好学习算法在推理任务中适用性较差，并据此推导出新的奖励建模目标。
Tree-PLV与令牌级价值模型
Tree-PLV通过构建推理树收集步骤级成对数据，更精确评估完整推理路径，在算术和常识推理任务上超越现有基准。令牌级价值模型（TVM）则使用令牌级监督和期望累积奖励，修正令牌级推理路径的不足，在数学推理基准上胜过逐步验证器。这些方法展示了细粒度验证的潜力。
Q&A
GSM8K数据集的主要内容是什么？
GSM8K是一个包含8.5K小学数学问题的数据集，旨在提升多步推理模型的性能。
如何提高多步推理模型的性能？
可以通过使用验证器验证模型的正确性，并通过排名选择最优解来提高性能。
Eurus模型在推理任务中的表现如何？
Eurus模型在多个基准测试中表现优异，特别是在数学、代码生成和逻辑推理问题上。
自我纠正训练对模型有什么影响？
自我纠正训练和自然语言反馈显著提高了模型在数学推理任务中的准确性。
UltraInteract数据集的用途是什么？
UltraInteract是为复杂推理任务设计的大规模、高质量对齐数据集，支持监督微调和偏好学习。
如何评估模型生成的解决方案的正确性？
可以通过引入步骤式自然语言反馈作为评估解决方案的正确性的合理标签来进行评估。
