少即少：使用更少基分类学习更好的少样本问题
内容提要
该文综述少样本图像分类研究，涵盖训练数据、预训练特征集成、自监督学习、特征选择、基准模型、分类器微调、进化搜索、支持实例表示优化及伪标签蒸馏等方法，并比较微调与元学习算法在跨域任务中的表现。
延伸解读
预训练特征集成：简单方法胜过复杂元学习
文章指出，使用预训练特征提取器的集成方法在跨域少样本图像分类中，实验结果表明这种简单高效的方法在多个任务上都能胜过复杂的元学习算法。这提示读者，在实际应用中，基于预训练特征的集成策略可能比精心设计的元学习算法更有效，且实现更简单。
自监督学习在少样本学习中的潜力
通过实验，文章发现自监督学习在小类别图像识别中的迁移性、鲁棒性、效率及可补充性都超过了传统的少样本学习方法，并以3.9%的准确度优势取得成功。这表明自监督学习在少样本学习中的作用值得更深入研究，可能成为未来提升性能的关键方向。
微调与元学习在跨域任务中的对比
文章比较了微调与元学习算法在跨域任务中的表现。在mini-ImageNet数据集上，fine-tuning方法在1-shot任务中比常见少样本学习算法准确性更高，在5-shot任务中准确率几乎与最先进算法相同。在高分辨率单领域和跨领域任务中，微调方法也表现出更高准确性。这为实际应用中选择方法提供了参考。
特征选择与支持实例表示优化
文章提到基于特征选择的新策略，通过训练多个具有不同语义的特征提取器，并根据任务自动选择最相关特征表示，构建简单非参数分类器，在MetaDataset和mini-ImageNet上取得最新结果。此外，改善元测试期间每个支持实例的表示也能提高少样本分类性能。这些方法为提升少样本学习效果提供了新思路。
Q&A
在少样本图像分类中，每类图像数量和类别数量之间如何权衡？
在固定注释预算下，需要权衡每类图像数量和类别数量。研究表明，增加类别数量通常比增加每类图像数量更有利于提升深度图像特征的质量和通用性。
预训练特征提取器的集成方法在跨域少样本分类中效果如何？
使用预训练特征提取器的集成方法简单高效，在多个少样本任务上能胜过复杂的元学习算法。
自监督学习在少样本图像识别中相比传统方法有哪些优势？
自监督学习在迁移性、鲁棒性、效率和可补充性上均超过传统少样本学习方法，并在准确度上取得3.9%的优势。
基于特征选择的少样本分类策略是如何工作的？
该策略先训练多个具有不同语义的特征提取器，然后根据任务需求自动选择最相关的特征表示，并构建简单的非参数分类器。在MetaDataset和mini-ImageNet上取得了领先结果。
在跨域少样本评估中，微调方法与元学习算法相比表现如何？
在跨域评估中，标准的微调实践基准方法优于其他最先进的少样本学习算法。在mini-ImageNet上，微调在1-shot任务中准确率更高，5-shot任务中几乎与最先进算法持平。
如何通过优化支持实例表示来提升少样本分类性能？
利用已训练好的特征表示，在元测试期间改善每个支持实例的表示，可以提高Few-shot分类性能，并在各模型背景下达到最新状态。
