量子位
·
10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
介绍了最小p采样方法，可提升大模型数学能力20%，平衡连贯性和多样性。已在Mistral-7B和Llama3-70B上测试，获得广泛应用。核心是动态调整抽样阈值，取得在推理任务、数学类任务和创意写作中的良好效果。
🎯
关键要点
- 最小p采样方法可提升大模型数学能力20%。
- 该方法旨在平衡生成文本的连贯性和多样性。
- 已在Mistral-7B上取得成效，Llama3-70B的测试也在进行中。
- min-p方法通过动态调整抽样阈值来优化采样过程。
- 引入基础概率阈值p_base，结合最大概率p_max计算缩放阈值p_scaled。
- 在高温度条件下，min-p能够更好地保持输出的连贯性。
- 在推理任务中，min-p相较于top-p表现出更好的稳定性。
- 在数学类任务中，min-p的表现优于top-p。
- 在创意写作任务中，min-p能够生成更具创意的内容，优选率显著提高。
❓
延伸问答
最小p采样方法是什么？
最小p采样是一种动态截断抽样方法，旨在平衡生成文本的连贯性和多样性。
最小p采样方法如何提升大模型的数学能力？
该方法通过动态调整抽样阈值，优化采样过程，从而提升大模型在数学类任务中的表现。
最小p采样在不同任务中的表现如何？
在推理任务中，min-p比top-p表现更稳定；在数学任务中，min-p的表现优于top-p；在创意写作中，min-p生成的内容更具创意。
最小p采样方法的核心机制是什么？
其核心机制是根据每一步token分布的最大概率动态调整最小概率阈值，以优化采样池。
最小p采样方法在高温度条件下的表现如何？
在高温度条件下，min-p能够更好地保持输出的连贯性，确保生成文本的质量。
最小p采样方法的应用范围有哪些？
该方法已在Mistral-7B和Llama3-70B等大模型上测试，并获得广泛应用，尤其是在推理、数学和创意写作任务中。
➡️
