LZ Penalty: An Information-Theoretic Repetition Penalty for Autoregressive Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出LZ惩罚,旨在解决自回归语言模型中的重复问题。该方法基于LZ77无损压缩算法,通过预测-压缩对偶性,降低重复率而不损失模型能力。

🏷️

标签

➡️

继续阅读