MyGO：离散模态信息作为细粒度标记用于多模态知识图谱补全
内容提要
本文综述了多模态知识图谱（MMKG）的研究进展，提出了新模型和框架，如AdaMF-MAT、MMKGR和MACO，以解决模态不平衡和缺失问题。研究强调了多模态学习的挑战和未来趋势。
延伸解读
多模态知识图谱补全的技术演进
从2019年的MMKG数据集到2024年的AdaMF-MAT，多模态知识图谱补全方法不断演进。早期工作如MMKG提供了包含数字特征和图像链接的数据基础，推动了链接预测和实体匹配研究。随后，MMKGR、MACO、MoSE等模型分别针对推理性能、缺失模态和关系表示共享等问题提出解决方案。最新方法如AdaMF-MAT通过自适应模态融合和对抗训练，在多个数据集上超越19个现有方法，显示出技术迭代的加速趋势。
模态不平衡与缺失：核心挑战与应对
多模态知识图谱常面临模态不平衡和缺失问题，即不同模态的信息量或质量差异大，或某些实体缺失特定模态数据。AdaMF-MAT通过模态对抗训练充分利用不平衡信息，MACO则用对抗和对比学习框架处理缺失模态。这些方法表明，有效融合异构模态并增强模型鲁棒性是提升补全性能的关键。读者可关注这些技术如何平衡不同模态的贡献，以及它们在真实场景中的泛化能力。
综述视角：研究趋势与未来方向
该综述审查了300多篇文献，将研究分为知识图谱驱动的多模态学习和多模态知识图谱两大方向，并指出大型语言模型和多模态预训练策略是新兴趋势。此外，终身多模态基准和LMC框架的提出，反映了动态场景下持续学习的挑战。这些趋势提示研究者，未来工作需更关注模型的可扩展性、跨模态对齐以及与现实应用的结合，而不仅是静态基准上的性能提升。
Q&A
AdaMF-MAT 方法是如何解决模态不平衡问题的？
AdaMF-MAT 方法结合结构信息、视觉信息和文本信息，通过自适应模态融合和模态对抗训练来充分利用不平衡模态信息。
MMKGR 模型的主要特点是什么？
MMKGR 模型采用统一的门-关注网络和补充特征感知的强化学习方法，提升了知识图谱任务的推理性能。
MACO 框架是如何处理缺失模态问题的？
MACO 框架通过对抗式和对比式方法，利用交叉模态对比损失来改进生成器表现，从而解决多模态知识图完善中的缺失模态问题。
MoSE 框架解决了哪些问题？
MoSE 框架成功解决了不同模式下关系表示共享和关系重要性的动态建模问题。
VBKGC 模型的创新之处是什么？
VBKGC 模型采用双胞胎负采样策略，能够捕捉基于嵌入的多模态信息并将其集成到知识图谱补全模型中，表现出优秀的链路预测能力。
这篇综述文章的研究重点是什么？
这篇综述文章重点关注知识图谱驱动的多模式学习和多模式知识图谱的构建进展及其挑战和趋势。
