BriefGPT - AI 论文速递
·
基于自我蒸馏的多模态会话情感识别的 Transformer 模型
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种基于自蒸馏的变压器模型，通过设计分层门控融合策略动态学习模式之间的权重，并将软标签作为额外的训练监督，学习更具表现力的模式表示。实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。
🎯
关键要点
- 提出了一种基于自蒸馏的变压器模型。
- 模型通过设计分层门控融合策略动态学习模式之间的权重。
- 使用软标签作为额外的训练监督，学习更具表现力的模式表示。
- 实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。
➡️
