本文提出了一种两阶段方法，通过视觉和大规模语言模型（VLLMs）增强上下文情绪分类。首先生成情绪描述，然后结合图像输入训练基于变换器的模型。研究表明，该方法在多个数据集上优于单一模态，并在小型数据集上微调后显著提升性能，旨在帮助机器人和智能系统更好地理解和识别情感。

该研究提出了一种新的方法，用于量化面部肌肉活动。该方法结合了微分几何、核平滑和谱分析，适用于广泛可访问的视频录制。它具有实用性和可访问性，并在国家安全和整形外科领域有潜在应用。此外，该方法还可以远程诊断和监测中风、贝尔氏麻痹和听神经瘤等疾病，并能准确识别和分类不同的情绪。这种面部肌肉分析技术是对深度学习方法的可解释性替代和面部肌肉电图（fEMG）的非侵入性替代。

通过利用标签信息进行多模态情绪识别的新方法，学习每个话语的标签增强文本/语音表示，并设计了标签引导的注意融合模块，融合具有标签意识的文本和语音表示进行情绪分类。实验证明该方法优于现有基线并取得了最佳性能。