大型生成视觉语言模型的构成性研究
原文中文,约500字,阅读约需2分钟。发表于: 。使用多模态指导调整的大型语言模型和生成型视觉语言模型,通过评估指标和基准测试提供了第一个无偏向性的复合性测评基准,从而开创了未来研究的方向。
最近的生成式多模态大型语言模型(MLLMs)在理解和生成能力方面表现出色。研究者通过引入一个名为SEED-Bench的基准测试解决了MLLMs生成理解的评估问题。该基准测试包含19K个准确的多项选择问题,涵盖了12个评估维度,包括图像和视频模态的理解。通过评估结果揭示了现有MLLMs的局限性,并希望SEED-Bench能为未来的研究提供见解。他们将建立并持续维护一个排行榜,为社区提供评估和研究模型能力的平台。