量子位
·
10行代码让大模型数学提升20%，“野路子”研究谷歌也测上了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
介绍了最小p采样方法，可提升大模型数学能力20%，平衡连贯性和多样性。已在Mistral-7B和Llama3-70B上测试，获得广泛应用。核心是动态调整抽样阈值，取得在推理任务、数学类任务和创意写作中的良好效果。
🎯
关键要点
- 最小p采样方法可提升大模型数学能力20%。
- 该方法旨在平衡生成文本的连贯性和多样性。
- 已在Mistral-7B上取得成效，Llama3-70B的测试也在进行中。
- min-p方法通过动态调整抽样阈值来优化采样过程。
- 引入基础概率阈值p_base，结合最大概率p_max计算缩放阈值p_scaled。
- 在高温度条件下，min-p能够更好地保持输出的连贯性。
- 在推理任务中，min-p相较于top-p表现出更好的稳定性。
- 在数学类任务中，min-p的表现优于top-p。
- 在创意写作任务中，min-p能够生成更具创意的内容，优选率显著提高。
➡️
