对比策略梯度：以监督友好的方式在序列级别上对齐 LLM
内容提要
本文探讨了通过细粒度分词级监督和新算法（如Neural PG-RANK和APA）提升大型语言模型（LLM）性能的方法。这些方法在对齐人类偏好、提高生成质量和隐私保护方面表现优越，尤其在语义和词汇多样性上有显著改善。
延伸解读
分词级监督如何提升对齐效果
文章指出，通过细粒度的分词级监督，LLM性能的绝对改善率可达5.1%。这种方法不同于传统的序列级监督，它能在更细的粒度上调整模型行为，尤其适用于需要精确控制生成内容的场景。对于开发者而言，这意味着在资源有限的情况下，分词级监督可能是一种更高效的优化途径。
Neural PG-RANK：统一训练目标与决策质量
Neural PG-RANK将语言模型实例化为Plackett-Luce排序策略，使训练目标与下游决策质量直接对齐。实验表明，当训练目标与评估设置一致时，该方法在领域内性能提升显著，并在跨领域问答任务中展现出泛化能力。这提示我们，对齐算法应尽可能与最终评估指标保持一致。
APA算法：更稳定的偏好优化选择
APA算法利用估计的优势和平方误差损失进行优化，在使用单独奖励模型评估时明显优于PPO，并能更稳定地控制模型初始策略与改进性能之间的平衡，避免模式崩溃和不稳定性。对于需要稳定训练过程的实际应用，APA提供了一种有竞争力的替代方案。
隐私保护与多样性提升的兼顾
文章提到，通过强化学习和差分隐私，可以在保护隐私的同时实现有竞争力的对齐效果。此外，与动态黑盒引导模型交互的方法在语义和词汇多样性上优于传统监督学习和PPO。这表明，隐私保护与生成质量并非不可兼得，但需根据具体场景权衡。
Q&A
细粒度分词级监督如何提升LLM性能？
细粒度分词级监督可以使LLM性能的绝对改善率高达5.1%。
Neural PG-RANK算法的主要优势是什么？
Neural PG-RANK算法通过将语言模型实例化为Plackett-Luce排序策略，提升了训练目标与下游决策质量的一致性。
APA算法与PPO相比有什么显著优势？
APA算法在使用单独奖励模型评估时，明显优于PPO，提供更稳定的性能控制。
如何通过强化学习和差分隐私保护LLM的隐私？
通过强化学习和差分隐私，研究表明可以在保护隐私的同时提供竞争力的效果。
伪卷积策略梯度(PCPG)解决了什么问题？
PCPG方法解决了“teacher-forcing”策略的暴露偏差问题，优化了模型性能。
新提出的基于价值的校准方法有什么特点？
该方法在不同环境中展现出优秀的泛化能力、稳定性和鲁棒性。
