NeMo-Aligner：高效模型对齐的可扩展工具匠
内容提要
本文介绍了一种新的大型语言模型对齐方法——Aligner，通过有监督学习显著提升模型性能。在11种不同模型上，Aligner平均提高了18%的有用性和23%的无害性，特别是在Llama2-70B模型上表现尤为突出。此外，研究还探讨了其他对齐策略和模型训练方法，强调了对齐在确保语言模型安全性和实用性方面的重要性。
延伸解读
Aligner 的核心机制：绕过强化学习的监督式对齐
Aligner 通过学习对齐与未对齐答案之间的校正残差，绕过了传统基于人类反馈的强化学习过程。它采用有监督学习，在查询-答案-校正数据集上训练自回归 seq2seq 模型，实现参数高效的对齐。这种方法可以将强大的预训练模型通过 Aligner 的监督信号进行微调，并应用于不同的开源和 API-based 模型，为对齐提供了一条更直接的路径。
性能提升的量化表现与模型差异
在 11 种不同的 LLM 上，Aligner 平均提升了 18% 的有用性和 23% 的无害性。其中 GPT-4 提升了 26.9% 的有用性和 17.5% 的无害性。对 Llama2-70B 使用 Aligner-7B 的监督进行微调，可提高有用性 8.2% 和无害性 61.6%。这些数据表明，Aligner 在不同模型上的效果存在差异，Llama2-70B 在无害性上的提升尤为突出。
参数效率：少量参数即可比肩主流方法
Aligner 是一种参数高效的微调方法，通过构建一组全局共享的可调节令牌来修改每一层的注意力。即使仅使用一个包含 5000 个参数的令牌，Aligner 仍能与需要数百万个参数的 LoRA 等最先进的 LLM 适应方法表现相当。这种参数效率的改进不仅降低了适配成本，也为理解 LLM 内部机制提供了新的视角。
对齐策略的多样性：从强化学习到线性对齐
文章还提及了其他对齐策略，如利用奖励建模和模拟高质量演示的框架、解耦对齐过程的“道德”对齐器、以及线性对齐等。线性对齐通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖。这些方法各有侧重，反映了对齐领域在提升安全性和实用性方面的持续探索。
Q&A
Aligner的主要功能是什么？
Aligner是一种通过有监督学习显著提升大型语言模型性能的对齐方法。
Aligner在不同模型上的性能提升有多大？
Aligner在11种不同模型上平均提高了18%的有用性和23%的无害性。
Aligner是如何避免强化学习过程的？
Aligner通过学习对齐与未对齐答案之间的校正残差，绕过了强化学习过程。
Aligner在Llama2-70B模型上的表现如何？
在Llama2-70B模型上，使用Aligner的监督微调可以提高有用性8.2%和无害性61.6%。
Aligner的参数效率如何？
Aligner的参数效率显著提高，能够与需要数百万个参数的对齐方法表现相当。
对齐在大型语言模型中的重要性是什么？
对齐是确保大型语言模型安全性和实用性的关键，能够提高模型生成的质量和准确性。
