DuA：双重注意力变压器在长期连续 EEG 情绪分析中的应用
内容提要
该研究提出了一种基于Transformer的情感识别框架，结合脑电图（EEG）信号和面部表情分析，以提高情感计算的准确性。研究展示了在情感分类和行为分析中的优越性能，尤其在跨主题情绪识别任务中表现突出。
延伸解读
技术核心：双重注意力与随机帧遮罩
该研究提出的框架结合了Vision Transformer和Transformer模型，通过双重注意力机制同时捕捉EEG信号的时间与空间特征。随机帧遮罩学习技术模拟了数据缺失场景，增强了模型对不完整输入的鲁棒性；Focal损失则针对情感数据中常见的类别不平衡问题，提升了少数类别的识别精度。这些设计共同提高了模型在实际应用中的准确性和适用性。
跨受试者挑战与EmT模型突破
个体脑解剖结构的差异导致跨受试者EEG情绪识别面临分布偏移问题。研究提出的EmT模型将EEG信号转换为时态图形式，并设计专门模块学习时态上下文信息，在跨受试者情绪分类和回归任务中表现优异。这为构建通用脑机接口情绪识别系统提供了新思路，减少了针对新用户重新校准的需求。
多模态融合与性能验证
研究探索了EEG与面部表情的多模态融合，提出的统一生物传感器-视觉多模态Transformer（UBVMT）方法将2D心电图/脉搏波图像与面部信息结合，在Valence-Arousal空间中进行情绪分类，性能与最先进技术相当。此外，基于预训练模型的多模式情绪识别器在多个公共数据集上验证，跨主题任务中优于现有方法，展示了多模态融合的潜力。
Q&A
DuA框架是如何提高情感计算准确性的？
DuA框架结合脑电图（EEG）信号和面部表情分析，并引入随机帧遮罩学习技术和Focal损失，增强了情感和行为分析的准确性。
EmT模型在情感分类中表现如何？
EmT模型在跨受试者EEG情绪分类和回归任务中表现出色，取得了比现有模型更高的效果。
该研究使用了哪些数据集进行验证？
研究在多个公共数据集上进行了训练和验证，展示了其模型的优越性能。
如何解决跨主题情绪识别中的挑战？
研究开发了基于预训练模型的多模式情绪识别器，利用脑信号建模和空间-时间注意机制来学习通用的脑电图表示。
该框架在实际应用中有哪些潜在用途？
该框架可应用于评估注意力缺陷多动障碍（ADHD）症状或驾驶评估中的警觉度。
研究中提到的统一生物传感器-视觉多模态Transformer方法的性能如何？
该方法在情绪分类中具有可比较的性能，与最先进技术相当。
