BriefGPT - AI 论文速递
·
基于自我蒸馏的多模态会话情感识别的 Transformer 模型
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种基于自蒸馏的变压器模型，通过设计分层门控融合策略动态学习模式之间的权重，并将软标签作为额外的训练监督，学习更具表现力的模式表示。实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。
🎯
关键要点
-
提出了一种基于自蒸馏的变压器模型。
-
模型通过设计分层门控融合策略动态学习模式之间的权重。
-
使用软标签作为额外的训练监督，学习更具表现力的模式表示。
-
实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。
🏷️
