LLM探索：GPT类模型的几个常用参数 Top-k, Top-p, Temperature
💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
本文介绍了使用ChatGPT接口或本地部署LLM大模型时常用的三个参数：temperature、top_k和top_p，它们可以影响模型输出的随机性和候选词选择。同时提供了调参建议和注意事项。
🎯
关键要点
- 文章介绍了使用ChatGPT接口或本地部署LLM大模型时常用的三个参数：temperature、top_k和top_p。
- 这三个参数影响模型输出的随机性和候选词选择。
- temperature参数控制模型输出结果的随机性，值越大随机性越大，值为0时输出固定。
- 较低的temperature值使输出更集中和确定，较高的值则使输出更随机和有创意。
- top_k和top_p是采样参数，提供不同的候选词选择方式。
- top_k从生成的token中选择前k个作为候选，设置越大生成内容可能性越大。
- top_p（核采样）根据概率阈值动态选择候选词，通常设置为较高值以限制低概率token的采样。
- top_k和top_p可以一起使用，top-p在top-k之后起作用。
- 调参建议：根据prompt的长度和清晰度调整temperature、top_k和top_p的值。
➡️
