EMO-LLaMA:通过指令调优增强面部情感理解
原文中文,约300字,阅读约需1分钟。发表于: 。本文针对面部表情识别(FER)在泛化能力和语义信息对齐方面的不足,提出了一种新颖的多模态大型语言模型EMO-LLaMA。通过使用预训练的面部分析网络和设计面部信息挖掘模块,实验表明EMO-LLaMA在静态和动态FER数据集上均达到与现有最先进方法相媲美的性能。
面部情感行为分析对于理解人类心理状态很重要。研究者引入了两个FABA任务的数据集和基准,以及一个新的MLLM“EmoLA”。实验结果显示,加入面部先验专家模块和低秩适应模块可以提高性能。EmoLA在FABA-Bench上表现最好,在常用的FABA数据集上与最先进模型竞争力强。