CommerceMM 是一种多模态模型，具备商业主题理解能力，支持图像-文本检索等多种任务。UNIMO 是统一的单模态预训练架构，提升视觉和文本理解。i-Code 提供自我监督的预训练框架，结合视觉、语音和语言模态。此外，研究提出了 OmniBind 框架，解决模态组合不匹配问题，提升多模态学习性能。