对齐重新排版
内容提要
本文综述大语言模型对齐技术，涵盖数据收集、训练与评估。主要方法包括：Aligner通过校正残差实现参数高效对齐，有用性和无害性分别平均提升18%和23%；ALMoST结合奖励建模与模拟演示，7B模型胜率约75%；医学领域采用“扩展-猜测-精化”策略，在USMLE子集上达70.63%；教育对齐模型能分解复杂问题；FIGA利用细粒度质量信号改进对齐。
延伸解读
对齐技术路线分化：从强化学习到监督微调
文章显示，大语言模型对齐方法正从依赖强化学习转向更高效的监督学习。Aligner通过校正残差绕过强化学习，在11个模型上平均提升有用性18%和无害性23%；ALMoST则结合奖励建模与模拟演示，7B模型在GPT-4评判下胜率约75%。这些方法降低了对人工反馈和已对齐模型的依赖，为资源有限的团队提供了新选择。
领域对齐的实践：医学与教育场景
在医学领域，'扩展-猜测-精化'策略在USMLE子集上达到70.63%的准确率，表明对齐技术能提升专业问答的事实性和推理能力。教育领域则提出'教育对齐'概念，将复杂问题分解为子问题，通过反馈和提示引导学生。这些案例说明对齐不仅是通用能力优化，更需针对领域需求定制策略。
诚实性对齐：平衡有益与无害的挑战
文章指出，对齐需确保模型在缺乏知识时主动拒绝回答，同时避免过度保守。基于《论语》'诚实'基石的定义，研究者引入灵活训练框架和微调技术，在提升诚实性的同时不损害其他任务性能。这提示对齐评估需兼顾多个维度，单一指标可能误导优化方向。
Q&A
Aligner 方法是如何实现参数高效对齐的？
Aligner 通过学习对齐与未对齐答案之间的校正残差，绕过强化学习过程，在查询-答案-校正数据集上训练自回归 seq2seq 模型，实现参数高效的对齐。
Aligner 在提升大语言模型有用性和无害性方面的效果如何？
Aligner 对 11 种不同的 LLMs 平均提升 18% 的有用性和 23% 的无害性；对 GPT-4 提升 26.9% 和 17.5%；对 Llama2-70B 使用 Aligner-7B 监督微调，可提高有用性 8.2% 和无害性 61.6%。
ALMoST 框架有什么特点？其 7B 模型的表现如何？
ALMoST 结合奖励建模和模拟高质量演示进行训练，避免依赖已对齐的 LLMs。其 7B 模型在使用 GPT-4 作为评判员的 A/B 测试中平均获胜率约为 75%。
医学领域如何对齐大语言模型以提高问答性能？
采用“扩展-猜测-精化”策略，结合指令调整、少样本和连续思考等方法，在 USMLE 数据集子集上达到 70.63% 的准确率。
教育对齐的大语言模型是如何帮助学生分解复杂问题的？
教育对齐的 LLMs 作为脚手架工具，将复杂问题分解为可管理的子问题，并通过反馈和提示引导学生寻找最终答案。
FIGA 方法如何改进大语言模型的对齐？
FIGA 利用细粒度的质量信号，即对比好坏回答的方式，指导大型语言模型的对齐学习，实验证明其有效性。
