FSL 模型得分更高
内容提要
该文综述小样本学习进展，涵盖多种方法：基于facets的自适应相似性度量提升miniImageNet和CUB表现；最优传输结合原型网络缓解分布偏移；Transformer模型TraNFS应对标签干扰；小样本学习用于三维感知并引入CIA模块；LSFSL增强泛化与鲁棒性；融合类别语言描述与视觉特征；对称对齐机制学习广义视觉概念；渠道特征转换缓解渠道偏见；预训练语言模型提升FSL；学习全局类别表示解决少样本问题。
延伸解读
小样本学习的技术演进脉络
从2019年到2023年，小样本学习研究呈现出清晰的演进路径：早期聚焦于度量学习与原型网络的改进，如基于facets的自适应相似性度量和最优传输结合原型网络；中期转向利用Transformer架构处理标签干扰和融合多模态信息；近期则更关注鲁棒性、泛化性以及跨领域应用，如三维感知和渠道偏见问题。这一脉络反映了该领域从追求基准性能到解决实际部署挑战的转变。
多模态融合成为提升性能的关键
文章中多项工作体现了多模态融合的趋势：利用类别级语言描述结合视觉特征形成混合原型，以及将预训练语言模型应用于小样本任务。这些方法通过引入文本语义信息，弥补了视觉样本不足的缺陷，在多个数据集上验证了有效性。这表明，单纯依赖视觉信息的小样本学习已遇到瓶颈，跨模态知识迁移是突破方向之一。
从算法创新到现实场景的挑战
研究不仅关注标准数据集上的性能提升，还开始解决现实问题：分布偏移、标签干扰、渠道偏见和三维感知等。例如，最优传输方法缓解support与query分布不一致，渠道特征转换揭示视觉系统的渠道偏见。这些工作表明，小样本学习正从理想化基准走向复杂现实应用，鲁棒性和公平性成为重要考量。
Q&A
小样本学习中，当支持集和查询集来自不同分布时，有什么解决方法？
可以结合最优传输和原型网络，有效缓解分布偏移的影响，提高模型表现。
有哪些方法可以提升小样本学习在miniImageNet和CUB数据集上的表现？
基于facets的自适应相似性度量方法可以改进现有的基于度量的少样本学习模型，并在miniImageNet和CUB数据集上实现了最先进的表现。
小样本学习中如何处理标签干扰问题？
可以使用基于Transformer的模型TraNFS和特征聚合方法，在嘈杂数据集上验证了有效性。
小样本学习在三维感知领域有什么应用进展？
有研究深入系统研究了少样本学习在三维感知上的应用，提出了Cross-Instance Adaptation (CIA)模块，插入基线模型可显著提高表现，并在两个新基准数据集上证明了优越性。
如何利用类别语言描述来提升小样本学习性能？
利用少量的类别级别语言描述，结合视觉特征形成瓶颈视觉特征（混合原型），并建立Transformer机制编码两种语义，实验证明能有效提升性能。
预训练语言模型对小样本学习有什么帮助？
将预训练语言模型应用于许多多样性任务的训练可提高小样本学习模型的性能，例如从互联网表格中提取413,299个任务，其中一些数据集能更好地用于NLP任务的FSL模型。
