院士领衔万字长文，全面系统梳理多模态LLM对齐算法

本文回顾了多模态大型语言模型（MLLM）中的对齐算法，分析了应用场景、数据集构建、评估方法及未来发展方向。

现有MLLM在真实性、安全性和推理能力方面仍面临挑战，对齐算法为解决这些问题提供了有效途径。

优化对齐算法可减少模型幻觉现象，提升综合能力，尤其在医学和数学等复杂领域具有巨大应用潜力。

对齐算法的应用场景分为通用图像理解、多图像、视频和音频以及扩展应用。

对齐数据集的构建涉及数据源、模型响应和偏好注释三个核心因素，文章对这些因素进行了系统分析与分类。

对齐算法的评估方法整理了常用的评估基准，提出了清晰的评估框架。

未来发展方向包括视觉信息的整合、LLM对齐方法的经验启示，以及MLLM作为智能体面临的挑战与机遇。

在医学应用中，3D-CT-GPT++成功减少了诊断中的误差，达到了临床级别的准确性。

MAVIS方法通过改进视觉数学问题解决框架，提高了MLLM在数学推理中的表现。

为应对多模态大语言模型的对抗性攻击，文章介绍了AdPO和VLGuard等方法。

MLLM对齐面临数据质量和覆盖范围的挑战，尤其是高质量和多样化数据集的稀缺问题。

未来的研究应关注如何在保证数据质量的同时，降低成本并提高数据集的规模。

当前的对齐数据主要依赖于文本，未能有效利用视觉信息，未来需探索更全面的对齐方法。

MLLM作为智能体需解决多智能体协作、鲁棒性和安全性等问题。