本文系统研究了多模态大语言模型(MLLMs)中的偏好对齐问题,将算法分为离线(如DPO)和在线(在线DPO)两类,发现两者结合可提升性能。作者提出无需额外标注或外部模型的新型数据构建方法“偏差驱动幻觉采样”(BDHS),在多个基准上达到与现有对齐工作相当的竞争力,并分析了偏好数据集构建细节对模型表现的影响。
本研究提出了SMI指标,解决了封闭书籍问答任务中大型语言模型表现的预测问题,强调了数据构建和知识保持的挑战。实验证明SMI与模型准确性之间存在强线性相关性,为资源优化和数据对齐提供了重要见解。
该研究发现数据量和参数规模对模型性能有影响,人工指导的数据比合成数据更有效,指令数据具有跨能力泛化性。这些发现可指导更高效的数据构建,提升实际性能。
完成下面两步后,将自动完成登录并继续当前操作。