IBKD是一种基于信息瓶颈的知识蒸馏方法，通过最大化教师模型和学生模型的互信息，减少学生模型和输入数据的互信息，以应用于文本表示和下游任务。

使用信息瓶颈保护您的 LLMs
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证