ArcSin: 自适应范围余弦相似性注入噪声以支持以语言为驱动的视觉任务
内容提要
该文汇总多项视觉语言研究：用余弦距离损失实现自动驾驶视觉定位（AP50达68.7%）；改进GAN文本生成图像的多样性；提出仅用语言训练的LinCIR框架，零样本CIR性能领先；用VAS指标优化预训练数据选择；并提出跨模态难度度量、去噪dCS损失、对抗数据合成、实体标准化框架CoSiNES及视频文本检索新方法。
延伸解读
跨模态相似性方法的多样性
文章汇总了多项利用余弦相似性解决跨模态任务的研究，涵盖视觉定位、文本生成图像、组合图像检索、数据选择、图像字幕、去噪表示学习、对抗数据合成、实体标准化和视频文本检索。这些方法虽任务不同，但都围绕相似性度量或嵌入对齐展开，体现了该思路在视觉语言领域的广泛适用性。
零样本与监督学习的性能对比
LinCIR框架仅使用语言训练，在四个CIR基准上取得最佳零样本性能，甚至在FashionIQ上超过有监督方法。这表明自监督投影策略能有效利用文本潜在嵌入，减少对标注数据的依赖，为跨模态检索提供了新思路。
数据选择与噪声鲁棒性的进展
VAS指标通过方差对齐评分优化预训练数据选择，在DataComp和CC12M上分别提升1.3%和2.5%，且视觉特征优于文本。dCS损失则针对真实数据噪声学习鲁棒表示。两者从数据质量和损失函数角度共同提升模型在嘈杂环境下的表现。
Q&A
ArcSin 方法在自动驾驶视觉定位中取得了怎样的性能？
ArcSin 方法在自动驾驶视觉定位中达到了 68.7% 的 AP50 准确率，并且实验表明其表现优于采用精细注意机制或复杂度损失函数的方法。
LinCIR 框架有什么特点？它在哪些基准上取得了最佳零样本 CIR 性能？
LinCIR 是一个仅使用语言进行训练的 CIR 框架，通过自掩蔽投影（SMP）自监督方法将文本潜在嵌入投影到标记嵌入空间。它搭配 CLIP ViT-G 骨干网络，在 48 分钟内完成训练，并在 CIRCO、GeneCIS、FashionIQ 和 CIRR 四个基准上取得最佳零样本 CIR 性能，甚至在 FashionIQ 上超过了有监督方法。
Variance Alignment Score (VAS) 指标在视觉语言模型预训练中有什么作用？
VAS 是一个简单且有理论依据的指标，用于解决大规模视觉语言模型预训练中的数据选择问题。基于最大化 VAS 的数据选择方法，结合 CLIP 分数，在嘈杂数据集 DataComp 的 38 个评估集上平均提升 1.3%，在高质量数据集 CC12M 上提升 2.5%。研究还表明视觉特征在计算 VAS 时优于文本。
去噪 cosine-similarity (dCS) 损失函数有什么用途？
dCS 损失函数基于余弦相似度，用于在机器学习中学习鲁棒的表示以应对真实世界数据集中的噪声干扰。实验结果显示，该方法在视觉与语音领域比基线算法具有更好的效率。
CoSiNES 框架是什么？它在哪些领域取得了竞争性表现？
CoSiNES 是一个使用预训练语言模型及对比 Siamese 网络构建的通用化实体标准化框架。它在技术、化学、医药和生物医学领域的四个标准数据集中取得了竞争性的表现，并在技术领域新数据集中展示了高准确度和快速运行时间。
在视频-文本检索任务中，使用生成模型聚集相关样本的方法相比噪声对比学习有什么优势？
该方法使用生成模型自然地将相关样本聚集在一起，确保表征不过度特化于个别样本，并可在数据集中重复使用。在 MSR-VTT、VATEX、ActivityNet 和 MSVD 数据集上，它比噪声对比学习取得了更好的视频-文本检索性能。
