哦，我再次取样了：重新诠释少样本学习中的置信区间
内容提要
本文探讨了多种少样本学习技术，包括任务自适应特征子空间学习、结合最优传输和原型网络的方法、约束的少样本学习等，并提出了提高模型性能的策略和评估方法。研究表明，使用未标记数据和优化样本选择策略能显著提升少样本学习效果。
延伸解读
未标记数据在少样本学习中的价值
文章指出，任务自适应特征子空间学习在附加未标记数据时能显著提升性能，半监督设置下性能提高可超过10%。这表明，在实际应用中，如果能够获取额外的未标记数据，应优先考虑利用它们来增强模型，而不是仅依赖少量标记样本。
分布偏移的应对策略
当支持集和查询集样本来自不同分布时，结合最优传输和原型网络的方法能有效缓解分布偏移的影响。这提醒研究者和开发者，在构建少样本学习系统时，需关注数据分布的一致性，并考虑采用此类方法提升鲁棒性。
评估方法的选择：任务级视角
文章首次探讨了任务级评估，指出低折叠交叉验证是直接估计模型性能的最佳选择，而自助法或大折叠交叉验证更适用于模型选择。这意味着，在部署模型前，应针对单个任务进行可靠评估，而非仅依赖多任务平均性能。
样本选择策略的自动组合
调查显示，样本选择策略的效果依赖于模态、数据集和方法，且样本数较少时作用显著，样本数多时则趋于随机。提出的自动组合策略能持续优于单一策略，这提示在实际应用中，可根据任务特点动态组合多种选择策略以提升效果。
Q&A
什么是任务自适应特征子空间学习？
任务自适应特征子空间学习是一种提高少样本学习性能的技术，特别是在使用未标记数据时，能够显著提升模型效果。
如何缓解支持和查询样本来自不同分布的问题？
可以通过结合最优传输和原型网络的方法来有效缓解支持和查询样本来自不同分布时的影响。
什么是约束的少样本学习（CFSL）？
约束的少样本学习（CFSL）是一种新提出的方法，基于Cat2Vec和类别对比损失，旨在提高少样本学习的效果。
如何提高少样本识别模型的最坏情况准确率？
可以通过模型稳定性正则化和自适应校准机制来提高少样本识别模型的最坏情况准确率。
低折叠交叉验证在模型评估中有什么优势？
低折叠交叉验证被认为是直接估计模型性能的最佳选择，能够提供更可靠的性能评估。
In-Context Sampling（ICS）技术的作用是什么？
In-Context Sampling（ICS）技术通过优化提示输入，能够提高LLM的预测性能和置信度。
