本研究提出AlignDistil方法，解决大型语言模型中令牌级奖励被忽视的问题，优化了模型对齐效率，实验结果表明其性能和收敛速度优于现有方法。

本研究提出了一种基于令牌级奖励正则化（T-REG）的方法，旨在解决传统RLHF对稀疏奖励的依赖问题。通过自生成的令牌级奖励优化偏好分配，实验结果表明该方法在基准测试中显著优于基线方法。