合成情感控制的多模态文本和图像数据的反馈
内容提要
该文综述多模态情感分析研究，涵盖基于Transformer与Faster RCNN的特征融合、双模态配对表示、跨模态交互学习等方法，在CMU-MOSI等数据集上超越SOTA；并涉及情感图像标题生成、非语言模态转文本、用户评论自监督学习及AACL图像检索等应用。
延伸解读
多模态情感分析的技术演进
文章梳理了从2015年到2023年多模态情感分析的技术发展。早期研究侧重卷积神经网络提取文本和视觉特征，并关注说话者无关模型等易忽视问题；随后转向跨模态交互学习和Transformer架构，在CMU-MOSI等数据集上准确率逐步提升。近期研究则探索非语言模态转文本、自监督学习等方向，旨在提高可解释性和泛化能力。
关键数据集与性能基准
CMU-MOSI和CMU-MOSEI是多模态情感分析的核心基准数据集。文章提到，2020年的研究在这两个数据集上分别达到83.9%和81.1%的准确率，比当时最先进技术绝对提升1.6%和1.34%。2021年的双模态配对表示模型也在CMU-MOSI、CMU-MOSEI和UR-FUNNY上超越SOTA，表明这些数据集是衡量模型性能的重要标尺。
应用场景的多样化拓展
除了基础的情感分类，文章还涉及多个应用方向：情感图像标题生成（2015年）、交互式图像标题生成（2022年）、基于用户评论自监督学习的多模态分类（讽刺检测、仇恨言论检测等，2023年）、AACL图像检索（2023年）以及非语言模态转文本提升可解释性（2023年）。这些应用显示多模态情感分析正从单一任务向跨领域综合任务扩展。
可解释性与模态重要性
文章指出，多模态情感分析中常被忽视的问题包括说话者无关模型和模态重要性。2023年的研究尝试将非语言模态转化为文本描述，利用大规模语言模型进行情感预测，从而增强可解释性。这表明，在追求更高准确率的同时，如何让模型决策更透明、理解不同模态的贡献，已成为重要的研究趋势。
Q&A
多模态情感分析中常用的特征融合方法有哪些？
文章提到使用基于Transformer的文本编码器和基于Faster RCNN的视觉特征提取器，将二者拼接构建多模态特征向量；还提到双模态配对表示进行融合和分离，以及带有门控机制的Transformer架构。
多模态情感分析在哪些数据集上取得了优于SOTA的结果？
在CMU-MOSI、CMU-MOSEI和UR-FUNNY三个数据集上验证了模型明显优于SOTA，其中在CMU-MOSI和CMU-MOSEI上分别取得了83.9%和81.1%的准确率。
跨模态交互学习对多模态情感分析有什么帮助？
文章指出学习跨模态交互对解决多模态情感分析问题很有益，并讨论了跨模态交互学习、长期依赖性学习和一元与跨模态线索的融合三个方面。
如何提高多模态情感分析的可解释性？
文章提出将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而在维持或提高情感分析效率的同时，使解释更为直接。
AACL方法是什么？它有什么用途？
AACL是一种基于多模式Transformer结构的方法，可用于有效检索类似于给定源图像的目标图像并且满足所提供的修改，在多项实验中实现了最新的最佳结果。
情感图像标题生成有哪些相关研究？
文章提到基于递归神经网络的情感图像标题自动生成模型，通过自动和众包评估表明模型在图像字幕中具有较高质量，且生成的正向字幕具有适当的情感；还提到交互式学习的图像标题生成模型，使用数据增强方法扩大人类反馈信息。
