MambaPupil: 事件驱动的双向选择性循环模型用于眼动跟踪

💡 原文中文,约1700字,阅读约需4分钟。
📝

内容提要

本研究提出了一种稀疏变化卷积长短期记忆(CB-ConvLSTM)模型,专为AR/VR设备的事件驱动眼动追踪设计。该模型利用事件相机的低延迟和稀疏输出,能够高效提取时空特征,算术运算减少约4.7倍,且不损失精度,适合资源受限设备的实时眼动追踪。

🎯

关键要点

  • 本研究提出了一种稀疏变化卷积长短期记忆(CB-ConvLSTM)模型,专为事件驱动眼动追踪设计。
  • CB-ConvLSTM模型利用事件相机的低延迟和稀疏输出,优于传统基于帧的摄像机。
  • 该模型能高效提取时空特征进行瞳孔跟踪,算术运算减少约4.7倍,且不损失精度。
  • CB-ConvLSTM特别适合在资源受限设备上进行实时眼动追踪。

延伸问答

CB-ConvLSTM模型的主要特点是什么?

CB-ConvLSTM模型专为事件驱动眼动追踪设计,利用低延迟和稀疏输出,能高效提取时空特征,算术运算减少约4.7倍且不损失精度。

CB-ConvLSTM模型适合在哪些设备上使用?

CB-ConvLSTM模型特别适合在资源受限的设备上进行实时眼动追踪。

与传统基于帧的摄像机相比,CB-ConvLSTM模型有什么优势?

CB-ConvLSTM模型利用事件相机的低延迟和稀疏输出,优于传统基于帧的摄像机,能更高效地进行瞳孔跟踪。

CB-ConvLSTM模型如何提高眼动追踪的效率?

通过增强稀疏激活的增量编码循环路径,CB-ConvLSTM在处理瞳孔数据时减少了算术运算量,提升了效率。

CB-ConvLSTM模型的算术运算减少了多少?

CB-ConvLSTM模型的算术运算减少约4.7倍。

如何获取CB-ConvLSTM模型的代码和数据集?

项目代码和数据集可以在GitHub上获取,链接为https://github.com/qinche106/cb-convlstm-eyetracking。

➡️

继续阅读