💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
字节跳动和马里兰大学发布了LLaVA-Critic，这是首个用于多任务评测的开源多模态大模型。它通过高质量评测数据集，在多模态场景中进行评分和排序，与人类和GPT-4o的偏好高度一致，并提升了视觉对话能力。
🎯
关键要点
- 字节跳动和马里兰大学发布了LLaVA-Critic，这是首个用于多任务评测的开源多模态大模型。
- LLaVA-Critic通过高质量评测数据集，在多模态场景中进行评分和排序，与人类和GPT-4o的偏好高度一致。
- 评测的核心在于可靠的AI评测，能够提供可扩展的解决方案，减少人工劳动。
- 研究团队构建了一个涵盖多样化评测场景和评分标准的评测指令遵循数据集。
- LLaVA-Critic-113k数据集包含46k张图片和113k个评测数据样本，涵盖多个评测任务和领域。
- LLaVA-Critic模型经过指令微调，具备通用的评测能力，能够根据评测提示给出评分和理由。
- LLaVA-Critic在多模态评测任务中与GPT-4o和人类的打分一致性较高，展现出良好的评测能力。
- LLaVA-Critic的评测能力可用于比较成对模型回复的好坏，作为奖励信号应用于强化学习算法。
- 实验结果表明，LLaVA-Critic在多个开放式问答评测基准上超越了基于人类反馈的奖励模型。
- LLaVA-Critic为自动评测多模态大模型的开放式回复提供了一个可行的开源替代方案。
➡️
