安志合的学习博客
·
大模型 Temperature 与 Top_p/Top_k 参数详解
内容提要
本文讨论了大模型输出的两个重要超参数：温度（Temperature）和核采样（Top-p）。温度控制输出的随机性，低温度使输出更确定，高温度增加多样性。核采样通过动态截断低概率词来调整候选词范围。建议在需要确定性时使用低温度和低Top-p，而在追求创意时使用高温度和高Top-p。默认配置为温度0.7和Top-p 0.9，适合大多数场景。
关键要点
-
温度（Temperature）控制输出的随机性，低温度使输出更确定，高温度增加多样性。
-
核采样（Top-p）通过动态截断低概率词来调整候选词范围。
-
建议在需要确定性时使用低温度和低Top-p，而在追求创意时使用高温度和高Top-p。
-
默认配置为温度0.7和Top-p 0.9，适合大多数场景。
-
低温度让分布更尖锐，高温度让分布更平缓。
-
Top_p值在0.7到0.9之间是主流推荐值，能够在多样性和质量间取得平衡。
-
使用建议包括：需要精确时使用低温度和低Top-p，追求创意时使用高温度和高Top-p，日常对话使用温度0.7到0.8和Top-p 0.9。
-
注意不要同时设定极值，温度优先调节，Top_p保持不动。
延伸解读
温度与输出质量的关系
温度参数直接影响模型输出的确定性与多样性。低温度（如0.1-0.3）适合需要高精度的任务，如代码生成和事实问答，而高温度（如0.8-1.0）则适合创意写作和头脑风暴。理解这一点可以帮助用户根据具体需求选择合适的参数，从而提高输出质量。
Top-p的动态调整机制
Top-p参数通过动态截断低概率词来调整候选词范围，具有更智能的特性。与温度不同，Top-p能够根据模型的确定性自动调整选择范围，适合在多样性和质量之间取得平衡。用户在设置时应考虑任务的性质，以便更好地利用这一特性。
使用建议与注意事项
在使用温度和Top-p时，建议避免同时设定极值，以免导致输出单调。通常情况下，调整温度即可，Top-p保持在0.9不动。此外，不同模型对同一参数的敏感度可能不同，用户应根据实际效果进行微调。
延伸问答
温度参数（Temperature）在大模型中有什么作用？
温度参数控制输出的随机性，低温度使输出更确定，高温度增加多样性。
什么是核采样（Top-p），它如何影响模型输出？
核采样通过动态截断低概率词来调整候选词范围，从而影响模型的输出多样性。
在什么情况下应该使用低温度和低Top-p？
在需要确定性和低风险的场景中，建议使用低温度和低Top-p。
默认的温度和Top-p值是什么？
默认配置为温度0.7和Top-p 0.9，适合大多数场景。
高温度和高Top-p适合什么类型的任务？
高温度和高Top-p适合需要创意和多样性的任务，如创意写作和头脑风暴。
使用温度和Top-p时需要注意什么？
不要同时设定极值，温度优先调节，Top-p保持不动。
