EmT: 一种用于广义跨主题脑电情感识别的新型 Transformer
内容提要
本文介绍了一种结合CNN和Transformer的情感识别方法，在SEED和SEED-IV数据集上的识别准确率分别达到98.57%和92.09%。研究还探讨了基于脑电图的情感识别，提出了多模态情感识别器和统一生物传感器-视觉Transformer模型，展示了在不同数据集上的优越性能。
延伸解读
跨主题情感识别的挑战与应对
文章指出，个体脑解剖结构的自然差异是跨主题脑电情感识别的主要挑战。为此，研究者开发了基于预训练模型的多模态情感识别器，利用脑信号建模和空间-时间注意机制学习通用的脑电表示，从而在不同维度和模态中最大化功能优势。实验证明，该模型在跨主题任务中优于现有方法，为神经信号处理领域提供了有价值的见解。
从分类到回归：MASA-TCN 的统一建模
脑电情感识别包括离散标签分类和连续标签回归，但回归任务的方法较少。传统方法使用 LSTM 或 TCN 学习时间上下文，却忽略了脑电的空间模式。MASA-TCN 通过空间感知的时间层和具有注意力融合的多锚块，同时学习空间关系和时间依赖，在回归和分类任务上均超越了先进方法，为统一建模提供了新思路。
多模态融合与自监督学习的价值
文章提到，基于 Transformer 的模型处理心电图时，利用自监督学习克服了情感标签数据集较小的限制，在 AMIGOS 数据集上实现了最新性能。此外，统一生物传感器-视觉 Transformer 结合心电图和面部信息，在唤醒-价值空间中分类情感，性能与先进技术相当。这表明多模态融合和自监督策略是生理信号情感识别的有前途的方向。
Q&A
EmT模型的主要创新点是什么？
EmT模型结合了CNN和Transformer，能够有效结合全局和局部特征，提高情感识别性能。
在SEED和SEED-IV数据集上，EmT模型的识别准确率是多少？
在SEED和SEED-IV数据集上，EmT模型的识别准确率分别达到98.57%和92.09%。
如何克服情感标签数据集较小的限制？
通过使用自监督学习和基于Transformer的模型，EmT能够有效克服情感标签数据集较小的限制。
EmT模型在情感识别中使用了哪些技术？
EmT模型使用了多模态技术、预训练模型和空间-时间注意机制等技术进行情感识别。
MASA-TCN模型的优势是什么？
MASA-TCN模型在EEG情感回归和分类任务中取得了更高的结果，能够学习空间关系和动态时间依赖关系。
统一生物传感器-视觉Transformer模型的应用是什么？
该模型通过结合心电图和面部信息进行情感分类，展示了与先进技术可比的性能。
