本文系统研究了多模态大语言模型（MLLMs）中的偏好对齐问题，将算法分为离线（如DPO）和在线（在线DPO）两类，发现两者结合可提升性能。作者提出无需额外标注或外部模型的新型数据构建方法“偏差驱动幻觉采样”（BDHS），在多个基准上达到与现有对齐工作相当的竞争力，并分析了偏好数据集构建细节对模型表现的影响。