DrawTalking: 通过草图和语言构建互动世界
内容提要
该文汇总了多项AI协作与交互研究，包括CoDraw协作绘画游戏及评估指标、基于知识图谱的交互式小说生成、语音驱动的实时演示系统RealityTalk、互动速写问答实现多轮信息交流、用大模型生成代码与VR内容、深度神经网络笔画视觉交流、知识图谱交互叙事数据集、Data@Hand健康数据探索、众包文字冒险游戏研究场景对话，以及Talk The Walk定位对话数据集与MASC机制。
延伸解读
从多篇研究看AI协作的多样性
文章汇总了多项AI协作与交互研究，涵盖协作绘画、交互式小说生成、语音驱动演示、互动速写问答等。这些工作共同展示了AI系统如何结合语言、感知与动作，在协作任务中实现多轮信息交流。例如CoDraw游戏定义了评估协作学习的策略，而互动速写问答则追求高准确度与低绘画复杂度。读者可从中了解AI协作研究的多种形态。
知识图谱在交互叙事中的作用
基于知识图谱的交互式小说生成算法通过提取常识和主题知识，构建语义连贯的文本世界，实验显示其优于规则和人工基准。类似地，一个大规模数据集提供了自然语言观察与知识图谱的映射，用于训练交互叙事世界模型。这些工作表明知识图谱有助于维持叙事的一致性和趣味性，为交互式故事生成提供了结构化支持。
多模态交互与落地评估的挑战
RealityTalk利用语音驱动虚拟元素增强实时演示，Data@Hand结合语音和触摸帮助探索健康数据，体现了多模态交互的实用性。同时，研究也关注如何评估生成模型创建的交互体验，以及AI辅助共同创作在VR中的挑战。众包文字冒险游戏平台则用于研究基于场景的对话，分析代理如何利用环境细节调整预测，揭示了成功落地所需的要素。
Q&A
CoDraw 是什么？它有什么作用？
CoDraw 是一个基于目标的协作图像绘画游戏，由两个 Agent 协作完成，结合了语言、感知和动作，并定义了评估协作学习的策略和指标。
如何利用知识图谱生成交互式小说？
通过提取常识和主题知识，结合知识图谱和神经语言模型，实现语义连贯、有趣、一致的文本世界生成，实验结果显示该模型优于规则和人工基准。
RealityTalk 系统是什么？它支持哪些交互方式？
RealityTalk 是一个利用语音驱动的交互式虚拟元素增强实时演示的系统，支持实时语音和其他辅助输入方式，可以互动地提示、移动和操作图形元素。
互动速写问答任务的目标是什么？
通过互动速写问答实现智能体之间的多轮信息交流，达到高准确度、低绘画复杂度和良好人类解释性的目标。
大型语言模型如何用于虚拟现实内容生成？
利用大型语言模型进行代码生成，在虚拟现实中运用生成过程、计算机协助创作游戏和制作静态内容，同时探讨评估生成模型创建的交互体验以及 AI 辅助共同创作在虚拟现实中的挑战。
Talk The Walk 数据集是什么？它引入了什么机制？
Talk The Walk 是第一个基于行动和知觉的大规模对话数据集，围绕游客定位任务，引入了 Masked Attention for Spatial Convolutions (MASC) 机制，显著改善了游客和导游之间的对话，并建立了非平凡的基线。
