通过多轮对话中的迭代对象-实体对齐增强视觉对话状态跟踪
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
本文介绍了视觉对话任务及其研究进展，包括通用测试方法和数据收集协议。研究利用多种编码器和解码器，评估机器与人类的性能差距。新型注意力机制和CLEVR-Dialog数据集推动了多轮推理和视觉指代消解的研究。此外，OLViT模型在视频对话中实现了先进性能，展示了其在多模态对话状态跟踪中的优势。
❓
Q&A
视觉对话任务的主要目标是什么？
视觉对话任务要求AI智能体通过图像、对话历史和问题与人类进行自然对话。
文章中提到的CLEVR-Dialog数据集有什么用途？
CLEVR-Dialog数据集用于研究视觉对话中的多轮推理和视觉指代消解，评估标准视觉对话模型的性能。
OLViT模型在视频对话中有哪些优势？
OLViT模型通过维护全局对话状态，解决了空间和时间定位、长期推理和准确对象跟踪等问题，展示了先进性能。
文章中提到的Recursive Visual Attention机制有什么作用？
Recursive Visual Attention机制用于解决视觉对话中的视觉协同参考问题，实验结果显示其性能超越现有技术。
如何评估机器与人类在视觉对话任务上的性能差距？
通过采用基于检索的评估协议，量化机器和人类在视觉对话任务上的性能差距。
基于ViLBERT的方法如何提高视觉对话的性能？
基于ViLBERT的方法通过预训练和微调视觉语言数据集，提高了视觉对话的性能。
🏷️
