大型语言猴子：重复采样扩展推理计算
内容提要
本文探讨了通过增加生成样本数量来扩展语言模型推断计算量的方法，发现增加样本数量可以显著提高覆盖范围和性能。覆盖范围和样本数量之间的关系通常是对数线性的，可以用指数幂律建模。识别正确样本仍是未来研究的重要方向。
延伸解读
重复采样：推理计算的新维度
传统上，语言模型在推理时通常只生成一个答案。本文提出通过增加生成样本数量来扩展推理计算，从而提升模型性能。在多个任务中，覆盖范围随样本数量呈对数线性增长，并可用指数幂律建模，这为推理阶段的扩展提供了新思路。
成本效益：小模型多次尝试 vs 大模型单次尝试
在SWE-bench Lite上，使用250个样本的DeepSeek-V2-Coder-Instruct解决了56%的问题，远超单次尝试的15.9%。此外，用五个样本放大更便宜的DeepSeek模型比购买GPT-4o或Claude 3.5 Sonnet的单个样本更具成本效益，且能解决更多问题。
识别正确样本：未来研究的关键挑战
在编码和形式证明等可自动验证的领域，覆盖范围的增加直接转化为性能提升。然而，在没有自动验证器的领域，如数学文字题，尽管覆盖范围可随样本数量增长到95%以上，但常见的选择方法（如多数投票或奖励模型）在几百个样本后达到平台期，无法完全扩展。
Q&A
如何通过增加样本数量来提高语言模型的推断性能？
增加样本数量可以显著提高覆盖范围和性能，尤其在编码和形式证明等领域，覆盖范围的增加直接转化为性能改进。
覆盖范围与样本数量之间的关系是什么？
覆盖范围与样本数量之间的关系通常是对数线性的，可以用指数幂律建模。
使用DeepSeek-V2-Coder-Instruct时，样本数量的增加对解决问题的比例有什么影响？
使用250个样本的DeepSeek-V2-Coder-Instruct解决问题的比例从15.9%增加至56%，超过了单次尝试的最新技术水平43%。
在没有自动验证器的情况下，未来研究的重点是什么？
在没有自动验证器的领域，识别正确样本仍是未来研究的重要方向。
使用Llama-3模型时，样本数量如何影响覆盖范围？
使用Llama-3模型时，覆盖范围可随着样本数量增加到95%以上。
常见的选择正确解决方案的方法有什么局限性？
常见的方法在几百个样本后达到平台期，无法完全扩展，不能有效选择正确解决方案。
