集成价值引导下的推理时语言模型对齐

BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

Aligner是一种新方法，通过学习对齐未对齐答案的校正残差，提高大型语言模型的对齐效率。它使用有监督学习训练seq2seq模型，避免了强化学习。Aligner显著提升了模型性能，例如对11种LLM的有用性提升18％，无害性提升23％。特别是对Llama2-70B的微调，有用性提高8.2％，无害性提高61.6％。