本文提出了一种两阶段方法，通过视觉和大规模语言模型（VLLMs）增强上下文情绪分类。首先生成情绪描述，然后结合图像输入训练基于变换器的模型。研究表明，该方法在多个数据集上优于单一模态，并在小型数据集上微调后显著提升性能，旨在帮助机器人和智能系统更好地理解和识别情感。

通过利用标签信息进行多模态情绪识别的新方法，学习每个话语的标签增强文本/语音表示，并设计了标签引导的注意融合模块，融合具有标签意识的文本和语音表示进行情绪分类。实验证明该方法优于现有基线并取得了最佳性能。