安志合的学习博客
·
大模型 Temperature 与 Top_p/Top_k 参数详解
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文讨论了大模型输出的两个重要超参数：温度（Temperature）和核采样（Top-p）。温度控制输出的随机性，低温度使输出更确定，高温度增加多样性。核采样通过动态截断低概率词来调整候选词范围。建议在需要确定性时使用低温度和低Top-p，而在追求创意时使用高温度和高Top-p。默认配置为温度0.7和Top-p 0.9，适合大多数场景。
🎯
关键要点
-
温度（Temperature）控制输出的随机性，低温度使输出更确定，高温度增加多样性。
-
核采样（Top-p）通过动态截断低概率词来调整候选词范围。
-
建议在需要确定性时使用低温度和低Top-p，而在追求创意时使用高温度和高Top-p。
-
默认配置为温度0.7和Top-p 0.9，适合大多数场景。
-
低温度让分布更尖锐，高温度让分布更平缓。
-
Top_p值在0.7到0.9之间是主流推荐值，能够在多样性和质量间取得平衡。
-
使用建议包括：需要精确时使用低温度和低Top-p，追求创意时使用高温度和高Top-p，日常对话使用温度0.7到0.8和Top-p 0.9。
-
注意不要同时设定极值，温度优先调节，Top_p保持不动。
❓
延伸问答
温度参数（Temperature）在大模型中有什么作用？
温度参数控制输出的随机性，低温度使输出更确定，高温度增加多样性。
什么是核采样（Top-p），它如何影响模型输出？
核采样通过动态截断低概率词来调整候选词范围，从而影响模型的输出多样性。
在什么情况下应该使用低温度和低Top-p？
在需要确定性和低风险的场景中，建议使用低温度和低Top-p。
默认的温度和Top-p值是什么？
默认配置为温度0.7和Top-p 0.9，适合大多数场景。
高温度和高Top-p适合什么类型的任务？
高温度和高Top-p适合需要创意和多样性的任务，如创意写作和头脑风暴。
使用温度和Top-p时需要注意什么？
不要同时设定极值，温度优先调节，Top-p保持不动。
➡️
