本研究提出LZ惩罚，旨在解决自回归语言模型中的重复问题。该方法基于LZ77无损压缩算法，通过预测-压缩对偶性，降低重复率而不损失模型能力。

本研究分析了19种先进代码大型语言模型中的重复现象，提出了20种重复模式，并通过DeRep方法有效检测和缓解这些重复。实验结果表明，该方法在减少重复和提升代码质量方面优于基准方法。

本研究探讨了Transformer模型在多文档摘要中的性能和行为表现，发现不同特征粒度和训练策略对模型影响较大，解码器对噪声敏感性高于编码器。实验结果还发现生成摘要中的重复问题与高不确定性得分相关。