FALCON:在视觉语言预训练中对比负样本的假阴性感知学习

📝

内容提要

本研究解决了视觉语言预训练中由于图像与文本之间的多对多对应关系而导致的假阴性问题,该问题削弱了嵌入空间的学习效果。提出的FALCON方法动态选择适当硬度的负样本,从而平衡了硬负样本与假阴样本的权衡,使得在多个视觉语言预训练框架下(如ALBEF、BLIP-2)显著提升了性能,展示了其在减少假阴性影响方面的有效性和稳健性。

🏷️

标签

➡️

继续阅读