本研究探讨了小语言模型和prompt-learning在零样本和少样本场景中的潜力。结果显示，T5-base模型在少样本设置下的准确性约为75%。集成策略对性能提升有效，FLAN-T5-large模型使用优化的提示可提高准确性近13%。研究发现小语言模型进行prompt-learning的潜力，以及主动少样本抽样和集成策略的好处。提示工程在零样本设置中也很重要。

该研究提出了一种将对抗训练引入自监督学习的通用预训练模型，可提高模型强健性和节省计算成本，对微调任务有两种作用。实验表明，该框架在CIFAR-10数据集上性能大幅提升，并提出了一种集成策略来提高自监督预训练模型的强健性。