ARMADA：基于属性的多模态数据增强
内容提要
本文介绍了多模态语言建模的最新进展，包括VaLM框架的视觉增强、属性感知的实体链接技术和跨模态属性插入策略。这些方法在推理和实体链接任务中显著提升了性能，并提出了新的数据集格式PIN，以增强多模态训练的深度和广度，促进模型的鲁棒性和性能提升。
延伸解读
多模态实体链接的演进：从属性感知到动态集成
文章梳理了多模态实体链接技术的演进脉络。2023年5月提出的属性感知方法，利用实体文本、图片和属性值，并构建了包含18,472条评论和35,598个产品的AMELI数据集，强调了属性信息的重要性。随后，DWE模型通过神经文本匹配和维基百科描述丰富实体语义，而DWE+进一步引入细粒度图像特征提取和视觉属性融合，在2024年4月达到最先进水平。最新的DIM方法则通过动态集成多模态信息和知识库，在三个原始数据集和动态增强数据集上均取得领先。这一系列工作表明，多模态实体链接正从静态特征融合向动态、知识驱动的方向演进。
跨模态属性插入：提升视觉语言模型鲁棒性的数据增强策略
文章介绍了一种跨模态属性插入策略，将图像中的视觉属性插入文本数据，用于评估深度视觉和语言模型的鲁棒性。研究发现，相对于纯文本数据，这种插入能提高数据增广质量。此外，通过双模态增强方法在视觉-语言数据集中解决报告偏倚问题，提升了物体-属性理解并改善了零样本检索任务。这些方法共同指向一个趋势：通过跨模态的属性级操作，可以更精细地控制训练数据分布，从而增强模型对属性变化的鲁棒性，而不仅仅是依赖大规模但可能带有偏倚的原始数据。
PIN数据集格式：面向深度多模态训练的知识密集型设计
针对大型多模态模型在感知和推理上的持续挑战，文章引入了PIN（配对和交错多模态文档）数据集格式。其设计基于知识密度、可伸缩性和对不同训练模态的支持三个原则，将Markdown文件与图像结合，以密集的知识结构和灵活的训练策略丰富数据。PIN-14M包含来自中英文来源的1400万个样本，涵盖复杂网络和科学内容，并注重数据质量与道德完整性。初步结果表明，该格式在提升LMM性能方面具有潜力，未来计划扩展并详细评估其对模型能力的影响。
文本到图像扩散模型的知识编辑：Diff-QuickFix的启示
文章探讨了文本到图像扩散模型中的知识表示，采用因果中介分析发现不同视觉属性的知识分布在条件UNet的组件中，且公共模型只存在一个因果状态，这与语言模型不同。基于此，研究者提出了Diff-QuickFix，一种快速、无需数据的模型编辑方法，可在短时间内删除概念，提供1000倍加速并与现有微调方法性能相当。这一工作揭示了扩散模型知识存储的独特性，并为模型可控编辑提供了高效途径，但文章未涉及该方法在更复杂概念或跨模型泛化上的表现。
Q&A
VaLM框架的主要功能是什么？
VaLM框架通过视觉增强进行语言建模，能够参考文本和图像的视觉知识，提升常识推理任务的性能。
什么是属性感知的多模态实体链接技术？
属性感知的多模态实体链接技术利用实体的文本描述、图片和属性值，强调属性信息在实体链接中的重要性，并建立了基准数据集AMELI。
跨模态属性插入策略的作用是什么？
跨模态属性插入策略将图像中的视觉属性插入到文本数据中，提高了深度视觉和语言模型的数据增广质量。
PIN数据集格式的目的是什么？
PIN数据集格式旨在提高多模态训练的深度和广度，包含1400万个样本，促进模型的鲁棒性和性能提升。
DWE模型在多模态实体链接中有什么优势？
DWE模型通过细粒度图像特征提取和视觉属性融合，在多模态实体链接中取得了显著的性能提升。
DIM方法如何改进实体特征的提取和链接？
DIM方法通过动态集成多模式信息和知识库，改进了实体特征的提取和链接，实验证明其优越性。
