TCCT-Net: 通过行为特征信号进行快速高效的参与度估计的双流网络架构

为了解决在设备实时使用时由于复杂架构、大量输入数据、计算能力和推理时间等限制，将嵌入系统的挑战，本研究提出了一种新颖的两流特征融合 “张量卷积和卷积变换网络” (TCCT-Net) 架构。该架构在 EngageNet 数据集上得到了验证，相比基准模型只使用两个行为特征（头姿势旋转），提出的方法表现出更好的性能。此外，对比分析显示 TCCT-Net 架构在推理速度方面相较于最先进的基于图像的循环神经网络 (RNN) 方法获得了数量级的提升。