本文综述大视觉语言模型评估方法,包括以强模型作评判者构建视觉对话数据集,实现多模态对话质量的自动评估;考察LLM生成与识别复杂视觉概念的能力,并用于训练视觉表示学习;提出评估图文对齐及微调扩散模型提升对齐;回顾视觉识别任务与预训练方法;介绍LOVM、Auto-Bench、VaLM、LVLM-eHub、ReForm-Eval、MERLIM等基准;发现模型在精细视觉概念识别、对象幻觉和视觉grounding方面仍存不足。
本文综述了多模态命名实体识别(MNER)的主要进展,包括:MNER-QG实现联合识别与查询接地;BGA-MNER通过双向生成对齐,推理时无需图像;不确定性融合框架提升可信度;动态对齐图文顺序增强表示;GLiNER紧凑高效;Flat交互Transformer减少视觉偏见;MGNER处理嵌套实体;GPT-NER以生成式自我验证应对低资源场景。
完成下面两步后,将自动完成登录并继续当前操作。