VHAKG：基于同步多视角日常活动视频的多模态知识图谱
内容提要
MMKG是一个多模态知识图谱集合，支持链接预测和实体匹配。研究探讨了构建和应用中的挑战，提出了VirtualHome2KG框架和VisionKG以管理视觉数据集。文章综述了KG驱动的多模式学习和MMKG的进展，并讨论了大型语言模型的影响及未来趋势。
延伸解读
多模态知识图谱的构建与应用进展
文章梳理了多模态知识图谱（MMKG）从早期集合到近期框架的发展。MMKG不仅支持链接预测和实体匹配，还通过VirtualHome2KG生成合成日常活动知识图，VisionKG管理视觉数据集，以及MMPKUBase扩展中文领域覆盖。这些工作表明，MMKG正从基础数据整合走向跨模态语义融合，为上下文感知应用提供支撑。
视频理解与知识图谱的交叉创新
文章介绍了MVBench基准和VideoChat2模型，用于评估多模态大语言模型的时间理解能力，并展示了ADL-X框架和LLAVIDAL在日常生活活动场景中的性能。这些研究将知识图谱与视频理解结合，通过多视角数据和3D骨骼信息提升时空推理，为视频内容分析提供了新思路。
多模态知识图谱补全的技术趋势
NativE框架通过关系引导的双重自适应融合和协作模态对抗训练，实现了野外多模态知识图谱补全，并在不同数据集上保持高效可推广的性能。这反映了MMKG补全正朝着自适应融合和鲁棒性方向发展，以应对模态不平衡和异构数据挑战。
中文多模态知识图谱的领域拓展
MMPKUBase作为大规模中文多模态知识图谱，涵盖鸟类、哺乳动物、蕨类植物等领域，包含超过5万实体和100万筛选图像。它通过原型对比学习和孤立森林算法提升数据质量，推动了图像属性探索，弥补了中文高质量MMKG的不足，为跨领域研究提供了资源。
Q&A
什么是MMKG，它的主要功能是什么？
MMKG是一个包含数字特征和图像链接的知识图谱集合，主要用于多重关系链接预测和实体匹配。
VirtualHome2KG框架的作用是什么？
VirtualHome2KG框架用于生成日常生活活动的合成知识图，以分析上下文感知数据。
VisionKG如何管理视觉数据集？
VisionKG通过链接、组织和管理异构特征的视觉数据集，提供多种数据检索服务，增强语义丰富性。
MVBench基准的目的是什么？
MVBench基准用于评估多模式大型语言模型的时间理解能力，并将静态任务转化为动态任务。
NativE框架的创新点是什么？
NativE框架通过关系引导的双重自适应融合模块实现任意模态的自适应融合，增强不平衡模态信息。
MMPKUBase的主要贡献是什么？
MMPKUBase是一个广泛的中文多模态知识图谱，提升了数据质量并推动了图像属性探索。
