本研究提出了一种轻量级验证方法LiLaVe，旨在降低大语言模型验证器的计算开销和资源消耗。LiLaVe通过提取基础LLM的隐藏状态中的正确性信号，显著提升生成任务的准确性和效率，适用于推理密集型应用。

本研究探讨了推理缩放的局限性，指出在不完美校验器下，重复抽样无法无限提高模型准确性。即使计算预算无限，错误的阳性概率依然存在，较弱模型的准确性无法与强模型相比。

研究通过过程奖励模型提升大型语言模型推理效果，提出新颖的奖励设计促进强化学习和在线训练。结果显示，过程优势验证器提高了模型准确性和效率，相较传统模型有显著提升。

本研究提出VerifierQ方法，将离线Q学习整合到大语言模型的验证器中，解决监督微调问题。结果表明，VerifierQ在数学推理任务中显著提升了效率、准确性和鲁棒性，促进了生成与评估能力的协同。