大型语言模型对齐的低冗余优化
内容提要
本文介绍了一种名为Aligner的新方法，通过有监督学习对大型语言模型（LLM）进行高效对齐，提升模型的有用性和无害性。Aligner在多个LLM上平均提高了18%的有用性和23%的无害性，尤其在Llama2-70B上表现显著。此外，研究探讨了利用合成数据和自定义奖励函数改善对齐目标的方法，并提出了“扩展-猜测-精化”的医学问答对齐策略，显著提升模型性能。
延伸解读
Aligner 如何绕过强化学习
Aligner 的核心在于学习对齐与未对齐答案之间的校正残差，从而避免强化学习过程。它通过有监督学习在查询-答案-校正数据集上训练自回归 seq2seq 模型，实现参数高效的对齐。这种方法可以将强大的预训练模型通过 Aligner 的监督信号进行微调，并应用于不同的开源和 API-based 模型，为对齐提供了一种更直接的替代方案。
性能提升的实际意义
Aligner 在 11 种不同的 LLM 上平均提升了 18% 的有用性和 23% 的无害性，其中 GPT-4 提升 26.9% 和 17.5%。对 Llama2-70B 使用 Aligner-7B 的监督进行微调，可提高有用性 8.2% 和无害性 61.6%。这些数据表明，Aligner 能显著增强模型的对齐效果，尤其对开源模型的无害性改善突出。
医学问答对齐的创新策略
针对医学问答，研究提出了“扩展-猜测-精化”的对齐策略，通过指令调整、少样本和连续思考等方法提升 LLM 性能。初步分析显示，该方法在 USMLE 数据集的问题子集上达到了 70.63% 的表现。这为临床应用中需要事实准确性和非平凡推理能力的对齐挑战提供了具体思路。
细粒度监督与合成数据的作用
Aligner 通过细粒度的分词级监督增强预训练 LLM 的对齐，绝对改善率高达 5.1%。同时，研究探索了利用合成数据和自定义奖励函数来改善对齐目标，例如 DeAL 框架通过自定义奖励函数和解码时对齐弥补训练缺陷。这些方法旨在减少对齐对性能的潜在负面影响，并提升安全性和实用性。
Q&A
Aligner方法的主要优势是什么？
Aligner通过有监督学习提高了大型语言模型的有用性和无害性，平均提升18%和23%。
Aligner是如何避免强化学习过程的？
Aligner通过学习对齐与未对齐答案之间的校正残差，采用自回归seq2seq模型进行有监督学习。
在医学问答中，Aligner采用了什么策略？
Aligner提出了“扩展-猜测-精化”的策略，显著提升了医学问答的模型性能。
Aligner在Llama2-70B上的表现如何？
Aligner在Llama2-70B上显著提高了有用性8.2%和无害性61.6%。
Aligner如何利用合成数据改善对齐目标？
Aligner通过合成数据训练可调整的模型，解耦大型语言模型和对齐过程，以提高安全性和实用性。
Aligner的细粒度分词级监督有什么优势？
细粒度的分词级监督可以提高大型语言模型的性能，绝对改善率高达5.1%。
