CLIPPER：无初始猜测的稳健数据关联
内容提要
该文汇总多项研究：CLIPPER、TEASER、ROBIN等利用图论与几何一致性处理噪声和异常值下的数据关联与3D配准；CLIP相关研究提出GDA集成、FedCLIP、LP-CLIP及课程学习数据修剪，提升少样本分类、联邦学习与鲁棒性，在多个数据集上达到先进水平。
延伸解读
CLIPPER 与经典配准方法的差异
CLIPPER 将数据关联问题建立在图论框架中，利用几何一致性处理噪声和异常值，并通过投影梯度上升求解松弛问题，实现低时间复杂度。与 TEASER 使用 TLS 成本和图论框架、ROBIN 基于不变量理论和兼容图模型不同，CLIPPER 强调无初始猜测的稳健关联，在噪声和异常值下保持高精度和召回率。
CLIP 微调方法的效率权衡
文章提到，提示学习和适配器等 CLIP 微调方法虽能提升下游任务性能，但需要额外训练时间和计算资源，对资源有限设备不友好。GDA 集成方法重新审视经典高斯判别分析，通过贝叶斯公式融合视觉和文本模态，在少样本分类等任务上达到先进水平，且无需大量额外训练。
联邦学习与鲁棒性提升的实践
FedCLIP 为 CLIP 设计基于注意力的适配器，仅依赖适配器操作，在联邦学习中实现快速归纳和个性化，计算和通信成本显著优于基线。LP-CLIP 则引入线性探测层，利用伪标签和自训练策略，无需注释数据即可增强鲁棒性，在多种数据集上达到 SOTA。
Q&A
CLIPPER 是什么？它主要解决什么问题？
CLIPPER 是一个用于在噪声和异常值存在的情况下进行稳健数据关联的框架。它使用几何一致性的概念将问题建立在图论框架中，通过对组合问题的松弛求解，使用高效的投影梯度上升方法，实现了低时间复杂度，并在高噪声和异常值下仍有较高的精度和召回率。
TEASER 算法有什么特点？
TEASER 是一个使用 TLS 成本和图论框架来解决 3D 点集之间快速且可靠配准问题的算法。它能够在存在大量离群值的情况下有效工作，提供理论误差界限，并在标准和 3DMatch 基准测试中表现出跨越式的性能优势。
如何将 CLIP 应用于联邦学习？
FedCLIP 是一种有效且简单的方法，通过为大型模型 CLIP 设计一个基于注意力的适配器，其余操作仅依赖于适配器，从而实现了联邦学习中 CLIP 的快速归纳和个性化。实验表明，FedCLIP 在计算和通信成本方面显著优于其他基线。
LP-CLIP 如何提高 CLIP 的鲁棒性？
LP-CLIP 通过引入一个线性探测层来提高 CLIP 的鲁棒性。它利用 CLIP 生成的伪标签以及自训练策略进行训练，无需注释数据，能够增强模型在真实场景中应对多种不确定性和挑战的能力，并在各种数据集上实现了 SOTA 结果。
ROBIN 方法用于解决什么问题？
ROBIN 是一种基于不变量理论和兼容图模型的方法，可以高效地解决机器人、计算机视觉和学习中数据关联和特征匹配引起的异常值问题。
CLIP 在少样本分类中如何提升性能？
通过将经典算法高斯判别分析（GDA）应用于 CLIP 的下游分类中，利用贝叶斯公式假设每个类别的特征服从具有相同协方差的高斯分布，并将 GDA 与 CLIP 中的原始零样本分类器集成，以融合视觉和文本模态的知识。在 17 个数据集上的实验证明，该方法在少样本分类、不平衡学习和超出分布泛化等方面超过或达到了与最先进方法相当的结果。
