MambaPupil: 事件驱动的双向选择性循环模型用于眼动跟踪
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文介绍了MambaPupil网络,一种稳定的基于事件的眼动追踪系统。该网络利用多层卷积编码器从事件表示中提取特征,并采用双向门控循环单元和线性时变状态空间模块选择性地捕获上下文相关性。通过特定数据增强方法增强模型的稳健性。MambaPupil在基准测试中表现出卓越的性能,获得第一名。
🎯
关键要点
- MambaPupil网络是一种稳定的基于事件的眼动追踪系统。
- 该网络采用双向长期序列建模和时变状态选择机制,适应眼动的多样性和突变性。
- 利用多层卷积编码器从事件表示中提取特征。
- 采用双向门控循环单元(GRU)和线性时变状态空间模块(LTV-SSM)捕获上下文相关性。
- 使用Bina-rep作为紧凑的事件表示。
- 提出名为Event-Cutout的数据增强方法,通过空间随机掩盖增强模型的稳健性。
- 在ThreeET-plus基准测试中,MambaPupil表现出卓越的性能,获得第一名。
➡️