大规模语言模型对线机恁学习的离维匀整进化
原文中文，约300字，阅读约需1分钟。发表于：。通过使用单轨迹数据集，本研究提出了 DRO（Direct Reward Optimization）框架和相关算法，无需配对偏好数据，采用简单的均方误差目标函数实现。使用 T5 编码器 - 解码器语言模型进行实证验证，证实了 DRO 相对于 KTO 等基准模型在单轨迹策略优化方面的性能优势。
本文研究了大规模语言模型对齐的两种方法：强化学习与人类反馈（RLHF）和基于对比学习的直接偏好优化（DPO）。提出了一种新方法MPO，通过两阶段训练过程减轻了两种方法的缺点。实验结果表明MPO在两个对齐数据集上都有效。
