踩脚自校准：通过自启动扩展 LLM 的尺度自对准
内容提要
该文综述大语言模型自我对齐研究，无需专家对手或人工标注，通过自我对弈、上下文学习、指令反向翻译、自评与倒带机制等方法，让模型自动生成并筛选高质量训练数据，实现自我泛化对齐。实验表明，此类方法性能可媲美甚至优于SFT和RLHF，并能提升安全性与领域专精能力。
延伸解读
自我对齐的核心机制
文章综述了多种自我对齐方法，如自我对弈、上下文学习、指令反向翻译、自评与倒带机制。这些方法让模型自动生成并筛选高质量训练数据，无需专家对手或人工标注，实现自我泛化对齐。其中指令反向翻译通过为网络文档生成指令提示构建训练样本，再自我策划选择高质量例子，迭代微调模型。
性能表现与优势
实验表明，自我对齐方法性能可媲美甚至优于传统的SFT和RLHF。例如，对LLaMa进行两次迭代微调后，模型在Alpaca排行榜上优于其他基于LLaMa的模型，且不依赖蒸馏数据。URIAL方法通过上下文学习实现对齐，性能与基于SFT或SFT+RLHF的方法相当或更优，展示了高效自我对齐的潜力。
安全性与领域专精
自我对齐不仅能提升通用性能，还能增强安全性和领域专精能力。RAIN方法通过自评和倒带机制，让未对齐的LLM生成符合人类偏好的回答，提高无害率并降低对抗攻击成功率。此外，利用领域无标签数据和少量种子，自我特化可从预训练模型中提取专家模型，提升零样本和小样本性能。
潜在风险与未来方向
文章也指出，自我对齐可能被滥用，例如通过背门注入进行隐秘而持续的非对准操作，成功通过安全评估并对抗重新对齐防御。这提示未来研究需更深入分析对齐理论，确保自我对齐技术的安全可靠。同时，自我对齐在语音等多模态领域的扩展也展示了其广泛应用前景。
Q&A
什么是大语言模型的自我对齐？
自我对齐是指大语言模型无需专家对手或人工标注数据，通过自我对弈、上下文学习、指令反向翻译、自评与倒带机制等方法，自动生成并筛选高质量训练数据，实现自我泛化对齐，使模型性能达到人类水平。
指令反向翻译是如何工作的？
指令反向翻译使用少量种子数据和网络语料库对语言模型进行微调，通过为网络文档生成指令提示来构建训练样本（自助增强），然后从候选样本中选择高质量例子（自我策划），再用这些数据微调模型。对LLaMa进行两次迭代微调后，模型在Alpaca排行榜上性能优于其他基于LLaMa的模型，且不依赖蒸馏数据。
RAIN方法如何实现无需训练的对齐？
RAIN（Rewindable Auto-regressive INference）整合自评和倒带机制，允许预训练LLM评估自身生成，并利用评估结果进行倒带回溯和前向生成，无需额外数据、训练、梯度计算或参数更新。实验证明，RAIN改善了LLaMA 30B模型的无害率，并在对抗性攻击下降低了攻击成功率。
自我对齐与SFT和RLHF相比有什么优势？
通过ICL方法URIAL，基于语言模型的对齐不再需要SFT或RLHF，实验证明URIAL的性能与基于SFT或SFT+RLHF的方法相媲美甚至更优。这表明自我对齐可以减少对人工监督的依赖，同时达到高效对齐。
自我对齐如何提升模型在专业领域的性能？
通过自我特化，利用特定领域的无标签数据和一些标记的种子进行自我对齐，可以有效地从预训练大型语言模型中提取出专家模型，从而提高零样本和小样本性能。
自我对齐存在哪些安全风险？
通过背门注入，可以在大型语言模型上进行隐秘而持续的非对准操作，这种操作可以成功通过安全评估，同时对抗重新对齐防御。这表明自我对齐可能被恶意利用，带来安全风险。
