10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了
内容提要
介绍了最小p采样方法，可提升大模型数学能力20%，平衡连贯性和多样性。已在Mistral-7B和Llama3-70B上测试，获得广泛应用。核心是动态调整抽样阈值，取得在推理任务、数学类任务和创意写作中的良好效果。
延伸解读
min-p 如何动态调整采样阈值
min-p 的核心是根据当前 token 分布的最大概率 p_max 动态缩放基础阈值 p_base，得到绝对阈值 p_scaled。当模型对某个 token 非常确定时，p_max 较大，p_scaled 随之升高，过滤掉大量低概率 token，确保输出连贯；当模型不确定时，p_max 较小，p_scaled 降低，保留更多中等概率 token，增加多样性。这种机制让采样池大小自适应模型置信度，从而在稳定性和创意之间取得平衡。
高温度下 min-p 的稳定性优势
在推理和数学任务中，随着温度升高，top-p 的得分迅速下降，而 min-p 的下降速度明显更慢。例如在 GPQA 数据集上，温度达到 3 时 top-p 得分已接近 0，min-p 才出现明显下降。这表明 min-p 在高温度条件下能更好地保持输出稳定性，适合需要可靠推理的场景。
创意写作中的表现与参数设置
在创意写作任务中，min-p 在 temperature=1.5、min-p=0.1 的设置下表现突出，生成的文本获得了 58.12% 的人类评判优选率，远高于其他方法在类似设置下的表现。这说明 min-p 不仅能维持连贯性，还能在需要创意的场景中释放模型的多样性，生成 top-p 难以产生的创意内容。
应用现状与未来展望
min-p 已在 Mistral-7B 上取得成效，Llama3-70B 的测试正在进行，并获得了开源社区的广泛应用。Anthropic 和谷歌等闭源模型厂商也已或正在针对 min-p 进行测试。微软 Copilot 的研究人员认为这是首个有关推理过程 token 采样的改进，未来还有很大进步空间。
Q&A
最小p采样方法是什么？
最小p采样是一种动态截断抽样方法，旨在平衡生成文本的连贯性和多样性。
最小p采样方法如何提升大模型的数学能力？
该方法通过动态调整抽样阈值，优化采样过程，从而提升大模型在数学类任务中的表现。
最小p采样在不同任务中的表现如何？
在推理任务中，min-p比top-p表现更稳定；在数学任务中，min-p的表现优于top-p；在创意写作中，min-p生成的内容更具创意。
最小p采样方法的核心机制是什么？
其核心机制是根据每一步token分布的最大概率动态调整最小概率阈值，以优化采样池。
最小p采样方法在高温度条件下的表现如何？
在高温度条件下，min-p能够更好地保持输出的连贯性，确保生成文本的质量。
最小p采样方法的应用范围有哪些？
该方法已在Mistral-7B和Llama3-70B等大模型上测试，并获得广泛应用，尤其是在推理、数学和创意写作任务中。
