本研究提出了一种新颖的视觉字幕评估指标G-VEval,利用GPT-4o的链式推理,克服了传统评估指标在语义深度和零-shot场景中的局限性。研究表明,G-VEval在与人工注释的相关性上优于现有方法,为自动字幕生成提供了灵活的解决方案。
该工作设计了一个基于在线会议平台的AI辅助插件,通过视觉字幕推荐多种方式的视觉图像,帮助人们理解他人的话语。作者通过众包完成了一个涵盖超过1500个用户意图的数据集,并通过微调语言模型进行视觉字幕的预测。用户可以浏览备选的视觉图像并选择将其公开展示。该工作设计了三种交互模式,根据用户请求、根据AI推荐和AI全自动。通过多个用户实验,发现视觉说明可以帮助用户理解不熟悉的概念、减少语言中的模糊性,并且不同人在不同场景下对于交互模式的偏好具有差异。
完成下面两步后,将自动完成登录并继续当前操作。