视觉说明:通过实时视觉画面增强语言交流 (Visual Captions: Augmenting Verbal Communication with On-the-fly Visuals)

原文约1600字,阅读约需4分钟。发表于:

在日常生活的对话中,人们会提及他人不熟悉的主题内容。在Zoom等在线会议中,即时 …继续阅读 »

该工作设计了一个基于在线会议平台的AI辅助插件,通过视觉字幕推荐多种方式的视觉图像,帮助人们理解他人的话语。作者通过众包完成了一个涵盖超过1500个用户意图的数据集,并通过微调语言模型进行视觉字幕的预测。用户可以浏览备选的视觉图像并选择将其公开展示。该工作设计了三种交互模式,根据用户请求、根据AI推荐和AI全自动。通过多个用户实验,发现视觉说明可以帮助用户理解不熟悉的概念、减少语言中的模糊性,并且不同人在不同场景下对于交互模式的偏好具有差异。

视觉说明:通过实时视觉画面增强语言交流 (Visual Captions: Augmenting Verbal Communication with On-the-fly Visuals)
相关推荐 去reddit讨论