从分布到 Overton 多元主义：研究大型语言模型的对齐问题
内容提要
本文研究了大型语言模型的对齐微调对性能的影响，发现对齐微调可能导致性能迅速下降，并强调模型的弹性与模型大小及预训练数据的扩展正相关。此外，提出了双向对齐方法以提升小模型的能力，并指出对齐方法在内容安全方面的负面影响，呼吁更先进的缓解策略。
延伸解读
对齐微调的性能代价
文章指出，对齐微调对模型性能的破坏程度远超预训练，可能导致性能迅速下降，甚至恢复到预训练阶段的分布。这种破坏可能是数量级上的差距，意味着对齐过程会显著改变模型的行为。读者需注意，对齐并非没有代价，其可能削弱模型原有能力，尤其是在内容安全方面，对齐会使指令调整模型在推理基准测试中性能下降4-33%。
模型弹性与规模的关系
研究发现，模型的弹性与模型大小及预训练数据的扩展正相关。这意味着更大的模型和更广泛的预训练数据可能使模型更能抵抗对齐微调带来的性能下降。这一发现提示，在驯化大型语言模型时，需考虑其固有的弹性，以克服对对齐微调的抵抗。对于实践者而言，扩大模型规模和预训练数据可能是提升对齐鲁棒性的途径之一。
双向对齐提升小模型能力
文章提出双向对齐方法（BiAlign），旨在利用模型对上下文学习（ICL）示例的偏好，提高较小模型的ICL能力。BiAlign通过与大模型的输入偏好对齐，并对齐令牌级别的输出分布，在语言理解、推理和编码等任务中超过了现有基准。这为小模型的高效对齐提供了新思路，但需注意其效果可能依赖于与大模型的偏好对齐程度。
内容安全与对齐的平衡
文章强调，大型语言模型容易生成不受欢迎的内容，包括有害、偏见信息甚至私人数据，需要更先进的缓解策略。同时，对齐方法在内容安全方面对指令调整模型的性能有负面影响，性能下降4-33%。这揭示了对齐在安全与性能之间的权衡：过度强调安全可能损害模型能力。因此，开发更平衡的缓解策略至关重要，而非单纯依赖复杂对齐方法。
Q&A
对齐微调对大型语言模型的性能有什么影响？
对齐微调可能导致模型性能迅速下降，破坏程度远超预训练，最终性能恢复到预训练阶段的分布。
模型的弹性与哪些因素相关？
模型的弹性与模型大小和预训练数据的扩展正相关。
双向对齐方法（BiAlign）有什么目的？
BiAlign旨在提高小模型的上下文学习能力，充分利用模型对示例的偏好。
对齐方法在内容安全方面有什么负面影响？
对齐方法会导致指令调整模型的性能下降4-33%，尤其在推理基准测试中表现明显。
大型语言模型容易生成什么类型的内容？
大型语言模型容易生成不受欢迎的内容，包括有害或有偏见的信息。
未来的对齐研究需要关注哪些方面？
未来的对齐研究需要更深入的对齐分析和理论理解，以提高模型的有效性和安全性。
