BriefGPT - AI 论文速递
·
多轮多模态问题澄清以增强对话理解
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了多轮多模态澄清问题（MMCQ），解决了传统方法无法捕捉复杂用户偏好的问题。通过构建ClariMM数据集和新型检索框架Mario，实验证明该方法在多轮澄清中提高了12.88%的MRR，尤其在长对话中效果显著。
🎯
关键要点
- 本研究提出了多轮多模态澄清问题（MMCQ）任务。
- 传统文本基础澄清方法无法有效捕捉用户复杂偏好。
- 创建了包含超过13,000个多轮互动和33,000对问答的数据集ClariMM。
- 提出了一种结合文本与视觉信息的新型检索框架Mario。
- 实验证明该方法在多轮多模态澄清中提高了12.88%的MRR。
- 该方法在较长对话中的效果尤为显著。
➡️
