Multi-Turn Multi-Modal Question Clarification for Enhanced Conversational Understanding

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了多轮多模态澄清问题(MMCQ)任务,旨在改善传统文本澄清方法的不足。通过构建包含13,000个多轮互动的数据集ClariMM,并引入结合文本与视觉信息的检索框架Mario,实验证明该方法在多轮澄清中提高了12.88%的MRR,尤其在长对话中效果显著。

🎯

关键要点

  • 本研究提出了多轮多模态澄清问题(MMCQ)任务,旨在改善传统文本澄清方法的不足。
  • 构建了包含超过13,000个多轮互动和33,000对问答的数据集ClariMM。
  • 引入了一种结合文本与视觉信息的检索框架Mario。
  • 实验证明该方法在多轮澄清中提高了12.88%的MRR,尤其在长对话中效果显著。
➡️

继续阅读