本研究提出了一种保形风险控制框架，旨在解决图像标题评估指标的局限性，特别是对单个词错误的细粒度评估和不确定性校准，从而显著提升了CLIPScore的可靠性。

该研究提出了一种新的细粒度评估方法，通过自动生成细微差异的测试字幕，提升视频-文本检索模型对细微差异的理解能力，并揭示当前评估基准的不足。

本研究提出了多维度评估基准PARAPHRASUS，解决了现有释义检测模型评估方式过于简化的问题。研究发现，细粒度评估下的模型能更全面地反映语义理解能力。

本文介绍了RAGChecker，一种用于细粒度评估增强检索生成系统的框架。通过元评估，RAGChecker在相关性方面表现优于其他评估指标，为设计更有效的RAG系统提供指导。

通过创新评估方法和修正视觉问答基准，推进对文本生成视觉语言模型能力的理解。提出新的视觉问答基准，细粒度评估文本生成视觉语言模型，并与辨别性视觉语言模型进行比较。利用标签空间的语义层次结构为细粒度分类任务中的粗略答案提出自动生成的后续问题，改善评估模型预测的传统自然语言处理和基于语言模型的度量标准。进行人工评估研究，并采用最终的度量标准。将基准应用于视觉语言模型，并比较它们在对象、行为和属性分类方面的能力。促进了视觉语言建模领域的有针对性进展。