💡
原文中文，约6800字，阅读约需16分钟。
📝
内容提要
研究表明，通过延长思考时间，小模型在性能上可以超越大模型，尤其在资源受限的情况下。HuggingFace探索了多种搜索策略，发现集束搜索和多样性验证器树搜索（DVTS）显著提高了小模型在复杂数学问题上的准确性。
🎯
关键要点
- 小模型在延长思考时间后可以超越大模型，尤其在资源受限的情况下。
- HuggingFace探索了多种搜索策略，发现集束搜索和多样性验证器树搜索（DVTS）显著提高了小模型在复杂数学问题上的准确性。
- 测试时计算扩展方法不依赖于大规模预训练预算，而是通过动态推理策略让模型在更难的问题上思考更长时间。
- 自我改进和针对验证器进行搜索是扩展测试时计算的两种主要策略。
- Best-of-N和集束搜索是优化模型输出的有效搜索策略，集束搜索在复杂推理任务中表现优越。
- DVTS通过最大化多样性来提升性能，尤其在较大计算预算时表现更佳。
- 计算-最优扩展策略可以选择最佳搜索方法和超参数，以在给定计算预算下达到最佳性能。
- 未来的研究方向包括提高验证器的稳健性、自我验证、将思维融入生成过程以及开发更多的过程奖励模型（PRM）。
❓
延伸问答
小模型如何在延长思考时间后超越大模型？
小模型通过延长思考时间，能够在复杂数学问题上表现更好，尤其在资源受限的情况下。研究表明，动态推理策略使得小模型在更难的问题上思考更长时间，从而提高了准确性。
HuggingFace采用了哪些搜索策略来提升小模型的性能？
HuggingFace探索了集束搜索和多样性验证器树搜索（DVTS）等搜索策略，这些策略显著提高了小模型在复杂数学问题上的准确性。
什么是计算-最优扩展策略？
计算-最优扩展策略是一种选择最佳搜索方法和超参数的策略，旨在在给定计算预算下达到最佳性能。
多样性验证器树搜索（DVTS）如何提升小模型性能？
DVTS通过最大化候选解的多样性来提升性能，尤其在较大计算预算时表现更佳，能够有效提高解决方案的多样性和整体准确性。
HuggingFace的研究结果对小模型的未来发展有什么启示？
HuggingFace的研究结果表明，通过延长思考时间和优化搜索策略，小模型在性能上有潜力超越大模型，未来可以进一步探索强验证器和自我验证等方向。
在测试时计算扩展中，集束搜索与Best-of-N的比较如何？
集束搜索在中等和困难难度问题上表现优越，而Best-of-N在较简单问题和较高计算预算时更有效，二者各有优劣，适用于不同的场景。
➡️
