大型语言猴子:重复采样扩展推理计算

💡 原文中文,约2600字,阅读约需7分钟。
📝

内容提要

本文探讨了通过增加生成样本数量来扩展语言模型推断计算量的方法,发现增加样本数量可以显著提高覆盖范围和性能。覆盖范围和样本数量之间的关系通常是对数线性的,可以用指数幂律建模。识别正确样本仍是未来研究的重要方向。