EmMixformer: 混合变压器用于眼动识别
内容提要
该文综述多项基于Transformer的情感与生理信号识别研究，涵盖多模态多尺度微表情识别、基于3D姿态与场景的情感检测、眼动生物认证、高效视频识别模型、特征融合、目标跟踪、分层混合情感识别、注意力机制探讨、脑电超分辨率及生理数据情感识别等方向。
延伸解读
多模态与多尺度成为情感识别的主流思路
文中多项研究都强调融合不同模态或不同尺度的特征。例如微表情识别同时利用运动与纹理特征，MoEmo结合人体姿态与环境背景，MACTN用CNN提取局部特征、Transformer整合全局特征。这说明单一信号源往往难以覆盖情感表达的复杂性，而多尺度、多模态的混合架构正成为提升识别效果的关键路径。
Transformer并非万能，效率与必要性受审视
虽然Transformer在视频识别、目标跟踪、脑电超分辨率等任务中表现突出，但文章也收录了对其必要性的反思。有研究通过限制时间注意力窗口、采用时空混合方法降低计算成本；另有MTS-Mixers工作证明注意力机制并非捕获时间依赖的必要条件。这提示读者，在追求性能的同时需权衡模型效率与结构复杂度。
眼动生物认证的潜力与验证边界
基于眼动模式的生物认证框架利用注视和扫视特征，在BioEye 2015数据库上胜过其他方法，并被认为与虹膜识别结合可增强防伪能力。但该结果基于特定视觉刺激和单一数据库，实际部署中的稳定性、用户接受度及跨场景泛化能力仍需进一步验证，不宜过度外推为通用身份识别方案。
生理信号与脑电研究的应用延伸
文章涉及脑电超分辨率与生理数据情感识别。ESTformer通过时空模块提升脑电分辨率，并证明超分辨率数据在个人识别和情绪识别任务中优于低分辨率数据；另一项多尺度Transformer方法在EPiC比赛CASE数据集上取得RMSE 1.45。这些工作表明Transformer可拓展至生理信号处理，但实验规模与数据集代表性仍是评估其实际价值的限制因素。
Q&A
EmMixformer 这个模型是做什么的？
EmMixformer 是一种基于 Transformer 网络的多模态多尺度算法，用于微表情识别。它通过完全学习微表情的运动和纹理两种特征的局部多粒度特征，实现不同尺度脸部局部区域特征的提取。
EmMixformer 在微表情识别上的准确率如何？
在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。
EmMixformer 用了什么特征和网络结构？
EmMixformer 使用 Transformer 网络，并利用微表情的运动和纹理两种特征，完全学习微表情的局部多粒度特征，从而提取不同尺度脸部局部区域的特征。
除了 EmMixformer，文章还提到了哪些基于 Transformer 的情感识别研究？
文章还提到了 MoEmo（基于 3D 人体姿势估计的交叉注意力 ViT 用于情感检测）、MACTN（分层混合模型用于情感识别）、ESTformer（用于脑电超分辨率）以及基于多尺度 Transformer 从生理数据识别情感的方法等。
眼动模式如何用于生物认证？
文章提到一种新框架，利用 fixations 和 saccades 提取特征，并使用 Gaussian Radial Basis Function Network 进行生物认证。在 BioEye 2015 数据库上验证，胜过其他所有方法，结合虹膜识别可构建牢固的防伪人员身份识别系统。
ESTformer 在脑电超分辨率任务中有什么作用？
ESTformer 是一个基于 Transformer 的框架，用于脑电超分辨率任务。它利用时空依赖关系学习空间结构信息和时间功能变化，并通过 Spatial Interpolation Module 和 Temporal Reconstruction Module 捕捉建模脑电 SR 的时空依赖性。实验证明其有效性，并展示了 SR 数据在个人识别和情绪识别任务中的优越性。
