MambaPupil: 事件驱动的双向选择性循环模型用于眼动跟踪
💡
原文中文,约1700字,阅读约需4分钟。
📝
内容提要
本研究提出了一种稀疏变化卷积长短期记忆(CB-ConvLSTM)模型,专为AR/VR设备的事件驱动眼动追踪设计。该模型利用事件相机的低延迟和稀疏输出,能够高效提取时空特征,算术运算减少约4.7倍,且不损失精度,适合资源受限设备的实时眼动追踪。
🎯
关键要点
- 本研究提出了一种稀疏变化卷积长短期记忆(CB-ConvLSTM)模型,专为事件驱动眼动追踪设计。
- CB-ConvLSTM模型利用事件相机的低延迟和稀疏输出,优于传统基于帧的摄像机。
- 该模型能高效提取时空特征进行瞳孔跟踪,算术运算减少约4.7倍,且不损失精度。
- CB-ConvLSTM特别适合在资源受限设备上进行实时眼动追踪。
❓
延伸问答
CB-ConvLSTM模型的主要特点是什么?
CB-ConvLSTM模型专为事件驱动眼动追踪设计,利用低延迟和稀疏输出,能高效提取时空特征,算术运算减少约4.7倍且不损失精度。
CB-ConvLSTM模型适合在哪些设备上使用?
CB-ConvLSTM模型特别适合在资源受限的设备上进行实时眼动追踪。
与传统基于帧的摄像机相比,CB-ConvLSTM模型有什么优势?
CB-ConvLSTM模型利用事件相机的低延迟和稀疏输出,优于传统基于帧的摄像机,能更高效地进行瞳孔跟踪。
CB-ConvLSTM模型如何提高眼动追踪的效率?
通过增强稀疏激活的增量编码循环路径,CB-ConvLSTM在处理瞳孔数据时减少了算术运算量,提升了效率。
CB-ConvLSTM模型的算术运算减少了多少?
CB-ConvLSTM模型的算术运算减少约4.7倍。
如何获取CB-ConvLSTM模型的代码和数据集?
项目代码和数据集可以在GitHub上获取,链接为https://github.com/qinche106/cb-convlstm-eyetracking。
➡️