通过无监督知识蒸馏提高学得提示的零样本推理能力
内容提要
本文介绍了一种无监督域提示蒸馏框架PromptKD，旨在通过未标记的领域图像将教师模型的知识转移到轻量级目标模型。该方法利用少量提示符令牌实现生成性语言模型的知识转移，实验结果显示其性能达到最先进水平。此外，提出的广义领域提示学习（GDPL）框架能够在特定领域中有效转移视觉识别能力，减少对数据和资源的需求，推动可持续的视觉语言模型研究。
延伸解读
知识蒸馏在生成式语言模型中的新探索
文章指出，尽管知识蒸馏在分类模型中已有成熟应用，但在生成式语言模型（如LLMs）中研究相对较少。PromptKD首次将提示调优引入生成式语言模型的蒸馏过程，通过添加少量提示符令牌并仅调整提示来实现学生友好的知识转移，避免了微调整个教师模型的高成本。实验表明，该方法在GPT-2系列上达到最先进性能，且提示参数仅占教师参数的0.0007%。这为降低LLMs推断成本提供了新思路。
GDPL：降低视觉语言模型领域适应的资源门槛
针对构建特定领域视觉语言模型需要大量标注数据和计算资源的问题，GDPL框架通过小规模领域基础模型和最少提示样本，将自然视觉的识别能力迁移到特定领域。其四元网络和低秩自适应方法有效利用了跨模态关系，在遥感、医学成像等多个领域取得最先进性能。这一方法显著减少了对数据和资源的依赖，有助于推动学术界在可持续和公平的VLMs研究上的进展。
无监督蒸馏缓解曝光偏差的机制
文章分析表明，PromptKD通过蒸馏学生友好的知识，有效减轻了生成式语言模型训练过程中的曝光偏差，从而提升性能。曝光偏差通常导致模型在推理时因依赖自身生成的前缀而累积错误。PromptKD利用未标记的领域图像进行提示驱动的模仿，在教师模型的指导下调整提示，使学生模型能更好地泛化。这一发现为生成式模型的知识蒸馏提供了可解释的改进方向。
Q&A
什么是PromptKD框架？
PromptKD框架是一种无监督域提示蒸馏方法，通过未标记的领域图像将教师模型的知识转移到轻量级目标模型。
PromptKD如何实现知识转移？
PromptKD通过添加少量提示符令牌并仅调整提示来实现生成性语言模型的知识转移。
广义领域提示学习（GDPL）框架的优势是什么？
GDPL框架能够在特定领域中有效转移视觉识别能力，减少对数据和资源的需求，推动可持续的视觉语言模型研究。
GDPL如何支持特定领域的视觉语言模型？
GDPL通过小规模的特定领域基础模型和最少的提示样本，使视觉语言模型的识别能力从自然视觉转移到特定领域。
PromptKD的实验结果如何？
实验结果表明，PromptKD实现了最先进的性能，仅添加了教师参数的0.0007%作为提示。
GDPL在不同领域的有效性如何？
大量实验证明了GDPL在遥感、医学成像等不同领域的有效性，展示了其在提示学习下的领域识别性能。
