迈向优雅互动：执行动作对解决指令澄清请求的政策建模的影响
内容提要
该文综述视觉与语言领域的行动与变化推理研究，涵盖相关任务、基准数据集、技术模型及表现，并总结挑战与未来方向。同时介绍多项工作：多模态对话中的澄清请求标注与学习、强化学习澄清模糊问题、交互式图像检索的分层对话策略、任务无关澄清框架、模块化物体中心方法MOCA、协作游戏隐式信息传递算法PBL、对话代理修复能力数据集CoDraw-iCR及人类反馈学习算法COACH。
延伸解读
澄清请求的标注与学习
文章介绍了在多模态协作对话游戏中标注澄清请求的工作，并基于此数据集开展数据驱动研究，探索何时提出澄清请求以及如何相互识别。这为理解对话中的澄清行为提供了数据基础，有助于开发能主动寻求澄清的交互系统。
强化学习用于澄清模糊问题
文章提到通过强化学习模型澄清模糊问题的方法，包括分割问题、选择标签、确认意图和构建响应。模型基于深度政策网络，利用真实用户点击数据评估，展示了显著性能提升。这表明强化学习在对话澄清中具有应用潜力。
任务无关的澄清框架
文章提出一个任务无关的框架，通过询问用户澄清问题来解决模型歧义。该方法在确定何时需要澄清、选择澄清问题以及利用新信息方面取得显著成果，并能估计模型不确定性。在仅允许10%示例澄清时，性能提升两倍，优于现有不确定性估计方法。
行动与变化推理的综述
文章综述了视觉与语言领域中行动与变化推理的研究，涵盖任务、基准数据集、技术模型及表现。总结了主要收获，讨论了当前挑战并概述未来方向。这为相关领域的研究者提供了全面的参考。
Q&A
在多模态协作对话中，如何标注和利用澄清请求来提升交互效果？
文章提出在多模态协作对话游戏中注释说明澄清请求，并基于此数据集展开数据驱动研究，探索何时提出澄清请求以及如何相互识别这些请求。
强化学习如何帮助模型澄清模糊问题？
文章提出通过强化学习模型来澄清模糊问题，包括分割问题、选择标签、确认意图和构建适当响应。模型基于深度政策网络的强化学习，通过真实用户点击数据评估，展示了显著的性能提升。
在交互式图像检索中，如何联合学习澄清和主动学习？
文章介绍了一个针对在线购物应用的交互式基于语言的图像检索任务，通过训练分层对话策略来共同执行澄清和主动学习，并表明联合学习比使用静态对话策略更有效。
任务无关的澄清框架如何解决模型歧义？
文章提出了一个任务无关的框架，通过询问用户澄清问题来解决模型中的歧义。该方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得新信息方面都取得了显著成果，并能估计模型不确定性，在仅允许10%示例澄清时将性能提升两倍。
MOCA方法在ALFRED基准测试中表现如何？
MOCA是一种模块化物体中心方法，将交互式知觉和行动策略流分解为增强组件。实验证明，在ALFRED基准测试中，MOCA优于以前的方法并改善了泛化性能。
PBL算法如何实现协作游戏中的隐式信息传递？
PBL算法使用先验信仰模块和策略模块来完成通信的前半部分和后半部分，并通过辅助奖励激励代理通过行动进行信息传递。实验表明此辅助奖励有效且易于推广。
CoDraw-iCR数据集有什么用途？
CoDraw-iCR (v2) 数据集可以作为模型和评估对话代理修复能力的标准，提供了细粒度的信息，包括基础对话游戏项和可能的操作。
COACH算法如何利用人类反馈进行学习？
文章研究了利用正反馈进行与人类互动学习行为的问题，并提出了一种名为COACH的算法来解决此过程中发现的问题，该算法能成功地在实体机器人上学习多种行为。
