Yunfeng's Simple Blog
·
repetition_penality的作用与实现
💡
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
repetition_penalty是优化大型语言模型（LLM）推理中重复输出问题的参数。设置大于1.0的值可以降低已出现token的概率，从而减少重复。这一方法源于2019年CTRL论文，通过调整logits实现，实测表明调整该参数能显著影响模型输出的token概率。
🎯
关键要点
- repetition_penalty是优化大型语言模型推理中重复输出问题的参数。
- 设置大于1.0的值可以降低已出现token的概率，从而减少重复。
- 该方法源于2019年CTRL论文，通过调整logits实现。
- 对于之前出现过的token，repetition_penalty系数作用于其logits，降低其被选为下一个token的概率。
- 实测表明，调整repetition_penalty参数能显著影响模型输出的token概率。
❓
延伸问答
什么是repetition_penalty？
repetition_penalty是优化大型语言模型推理中重复输出问题的参数。
如何设置repetition_penalty以减少重复输出？
将repetition_penalty设置为大于1.0的值可以降低已出现token的概率，从而减少重复。
repetition_penalty的实现原理是什么？
该参数通过作用于之前出现的token的logits，降低其被选为下一个token的概率来减少重复。
repetition_penalty的效果如何？
实测表明，调整repetition_penalty参数能显著影响模型输出的token概率。
repetition_penalty的来源是什么？
这一方法源于2019年CTRL论文。
如何在代码中实现repetition_penalty？
可以通过transformers库中的RepetitionPenaltyLogitsProcessor类来实现repetition_penalty。
🏷️
标签
➡️
