多模态情感分析的三重解耦表示学习
内容提要
该文综述多模态情感分析研究，涵盖EffMulti多视角融合、三阶段对比学习、MISA融合、PVAE生成模型、文本布局视觉关系抽取、非语言模态转文本、多视图解缠、联合生成判别及InterMulti等方法，并探讨跨模态交互、长期依赖与线索融合，在CMU-MOSI和CMU-MOSEI数据集上取得领先准确率。
延伸解读
多模态情感分析的技术演进
从2018年到2023年，多模态情感分析经历了从基础融合到复杂解耦的转变。早期方法如MISA和PVAE侧重于模态融合与生成，而近期研究如EffMulti和三阶段对比学习则强调多视角表示和解耦。这种演进反映了领域对情感交互复杂性的深入理解，以及从单一融合向多层次、可解释表示的过渡。
关键方法的核心贡献
EffMulti通过三种潜在表示和模态-语义层次融合捕捉不同视角的情感交互；三阶段对比学习利用监督和自监督改进单模态和融合表示；InterMulti则通过THHF模块融合多种交互表现形式。这些方法在CMU-MOSI和CMU-MOSEI数据集上取得了领先准确率，分别达到83.9%和81.1%，较之前最优技术提升了1.6%和1.34%。
跨模态交互与长期依赖的挑战
文章指出，跨模态交互学习、长期依赖性学习和一元与跨模态线索融合是多模态情感分析的三个关键方面。学习跨模态交互对解决问题很有益，但如何有效捕捉长期依赖和融合不同线索仍是挑战。当前方法通过解耦表示和对比学习部分解决了这些问题，但未来仍需进一步探索。
可解释性与多模态转换的进展
近期研究注重提高情感分析的可解释性，例如将非语言模态转化为文本描述，并利用大规模语言模型进行预测，在保持效率的同时使解释更直接。多视角表示解缠绕方法则通过发现一致性和解缠绕信息边界，确保表示的可解释性和泛化性，在聚类和分类任务上优于其他12种方法。
Q&A
多模态情感分析中，EffMulti框架是如何工作的？
EffMulti采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态-语义层次融合方法来融合这些表示，实验表明其在情感分析方面表现极佳。
对比学习如何改进多模态情感分析中的模态表征？
通过三阶段的多视角对比学习框架，利用监督和自监督对比学习来改进单模态和融合的多模态表征，从而成功提高多模态情感分析任务的效果。
MISA框架在多模态情感分析中有什么作用？
MISA框架利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性，在多个情感分析基准数据集和UR_FUNNY数据集上表现出明显的优越性。
PVAE模型如何用于多模态生成？
PVAE模型将共享因素和模态相关因素编码为不同的潜变量，用于生成符合不同语义和风格要求的条件数据，并利用发现的语义单元在两个音频/图像数据集上完成了定量和定性的评估。
在多模态情感分析中，文本、布局和视觉信息的相对预测能力如何？
通过排除每种数据类型并独立评估文本和布局数据，研究发现双模态的文本和布局方法表现最佳，文本是最重要的单一预测因子，布局几何形状也具有高度预测能力，同时强调了视觉信息可以增强性能的情况。
InterMulti框架如何融合多模态交互表示进行情感分析？
InterMulti框架利用一种新颖的基于文本的THHF模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明其表现优于现有技术。
多模态情感分析在CMU-MOSI和CMU-MOSEI数据集上取得了怎样的准确率？
在CMU-MOSI和CMU-MOSEI语料库上进行的实验取得了83.9%和81.1%的准确率，分别比当前最先进技术提高了1.6%和1.34%的绝对精度。
