BriefGPT - AI 论文速递 · 2023-11-09T00:00:00Z

通过信息瓶颈原理进行文本表示精简

📝

内容提要

我们提出了一种基于信息瓶颈的知识蒸馏方法IBKD，旨在提高模型易用性。该方法通过增强教师与学生模型表示间的互信息，减少学生模型与输入数据间的互信息，有效避免过拟合，适用于文本表示和下游任务。