少即是多：多模态少样本学习的深入研究
内容提要
该文综述少样本学习研究进展，涵盖对比学习框架对齐视觉与文本嵌入、MAML双层优化提升可迁移性、提示学习理论框架与困惑度预测提示质量、预训练语言模型能力评估、利用文本弥补视觉数据稀缺的多模态少样本学习、多模态多任务少样本框架、少样本跨语言迁移中字典特性分析、LM-BFF改进小模型微调（性能最高提升30%），以及音视频少样本基准与视频语言学习器VidIL。
延伸解读
提示学习效果的可预测性
文章指出，提示学习在零样本或少样本场景下的效果可以通过语言差异来衡量，并提出了基于困惑度的模板选择方法，能够在不依赖标注的情况下提前预测提示性能。这意味着在实际应用中，开发者可以在没有验证集的情况下筛选出更优的提示模板，从而降低对标注数据的依赖，提高少样本场景下的效率。
小模型微调的性能提升空间
LM-BFF方法针对小型语言模型的少样本微调进行了改进，结合多种技术后，在低资源环境下性能最高提升30%，平均提升11%。这表明，即使不依赖超大模型，通过合理的微调策略和提示设计，小模型也能在少样本任务上取得显著进步，为资源受限的场景提供了可行方案。
跨语言迁移中的字典作用
研究通过六个NLP任务的40组样本分析，揭示了字典特性在少样本跨语言迁移中的关键作用，并证明简单的完整模型微调方法在少样本迁移中同样有效。这提示实践者，在跨语言少样本场景下，无需过度设计复杂结构，合理利用字典特性并采用全模型微调即可获得不错的效果，同时该研究开放了部分样本，为标准化实验提供了参考。
多模态少样本学习的互补策略
文章展示了利用文本数据弥补视觉数据稀缺的思路，通过跨模态特征生成和对齐图像与标题数据，将少样本学习能力迁移至多模态设置。此外，VidIL等模型在视频语言任务中利用少量示例生成目标输出，显著提升了未来事件预测准确率。这些工作表明，多模态少样本学习的关键在于有效融合不同模态的信息，以缓解单一模态数据不足的问题。
Q&A
多模态少样本学习如何利用文本数据弥补视觉数据的不足？
文章提到一种跨模态特征生成框架，利用文本数据来弥补计算机视觉任务中数据稀缺的不足，进而提高分类结果。此外，通过跨模态训练结合视觉和语言信息，利用少量训练样本和类名，可以构建更好的狗狗分类器。
MAML在少样本学习框架中起什么作用？
文章指出，通过双层优化结构中的MAML训练模型，可以提高模型的可迁移性。
提示学习在零样本或少样本场景下的效果如何解释？
文章提出一个理论框架来解释提示学习在零/少样本场景下的功效，并假设语言差异可以衡量提示的质量，通过基于困惑度（perplexity）的注释无关模板选择方法，能够提前预测提示性能。
LM-BFF方法对小型语言模型的少样本微调有什么改进？
LM-BFF提出了一种改进的面向小型语言模型的少样本fine-tuning方法，以提升在多种NLP任务上的性能。与传统的fine-tuning方法相比，LM-BFF组合的技术在低资源环境下具有显著改进，最高可达30%，平均提高11%。
少样本跨语言迁移中字典特性有什么作用？
文章通过对六个不同NLP任务的40组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。
VidIL是什么，它在视频语言任务中表现如何？
VidIL是一个通过图像和语言模型进行少样本学习的视频语言学习器，在视频描述、视频问答、视频描述检索和视频未来事件预测等多种视频语言任务中表现出强大的性能，能够使用上下文中的几个例子来生成目标输出，进而大大提高视频未来事件预测的准确率。
