Game-MUG：多模态定向游戏情境理解与评论生成数据集

MUGEN数据集通过引入音频和新的交互方式，收集了大量视频和相关音频，展示了其在多模态理解和生成任务中的潜在应用。

研究提出了一项从结构化数据记录中生成游戏评论的任务，利用大规模电子竞技数据集和多种编码器-解码器模型，层次模型表现优越。

在线流媒体对游戏技能的评估是重要任务，研究通过清理数据集和提出多模态机器学习模型的变体来解决识别用户而非学习有意义表示的问题。

建立了大规模的MUG基准，以对广泛的SLP任务进行性能基准测试，包括主题细分、摘要生成和关键短语提取等。

提出了用于视频字幕的新多模态篮球知识支持基准，通过构建知识图谱提升篮球直播字幕质量。

创建大规模音视频多模式对话数据集，提出新颖的多模式生成模型以生成与视频时空事件相吻合的实时评论。

开发了基于现场足球比赛视频和Twitch.tv聊天记录的多说话者对话数据集，验证了多模态对话模型的效果。

针对多模态界面对话交互中的语言歧义问题，提出了新的交互式任务MUG，并构建了包含人类用户和智能Agent交互的实验数据集。

多模态机器学习在理解图像和描述性文本之间的关系方面取得进展，但在预测讽刺等新交互中仍存在挑战，提出了MMOE方法以改进性能。

研究提出了TEAM方案，通过提取对象级语义元数据和引入多源语义图促进讽刺推理。