解释 CLIP 在盲 / 低视能用户数据上的表现差异

💡 原文中文,约500字,阅读约需1分钟。
📝

内容提要

大型多模态模型 (LMMs) 在为盲人或低视力用户提供自动视觉辅助方面具有潜力。通过实证评估 CLIP,在零样本分类任务中测试了 25 个 CLIP 变体,发现其在盲人用户捕获的图像上的准确性平均低了 15 个百分点。使用仅有 5 张图像进行少样本学习可以在某些情况下缓解 BLV 用户的 CLIP 的服务质量差异。

🏷️

标签

➡️

继续阅读