基于智能手机的眼动追踪系统：边缘智能与模型优化
内容提要
本文介绍了多种眼动追踪技术，包括基于卷积神经网络的iTracker模型、Siamese神经网络优化的视觉目标跟踪，以及CB-ConvLSTM模型用于事件驱动眼动追踪。这些技术在移动设备和边缘计算中的应用潜力，尤其在医疗和视觉研究领域具有显著优势。
延伸解读
从iTracker到CB-ConvLSTM：眼动追踪模型的技术演进
文章梳理了眼动追踪模型的演进路径：2016年的iTracker基于卷积神经网络，利用GazeCapture数据集实现移动设备实时追踪；2020年的Siamese网络通过量化优化降低内存和计算复杂度；2023年的CB-ConvLSTM则利用事件相机稀疏输出流，减少约4.7倍算术运算而不损失精度。这一脉络显示，模型优化正从传统帧处理转向事件驱动与稀疏计算，以适配边缘设备。
边缘智能如何赋能移动眼动追踪
文章多次强调边缘计算在眼动追踪中的价值。Siamese网络的量化优化使嵌入式视觉系统能精准跟踪；IMX500传感器平台上的TinyTracker模型展示了超低功耗边缘视觉任务的优势；Speck神经形态处理器结合脉冲神经网络，提升了眼动追踪的精确度和效率。这些案例表明，边缘智能通过模型压缩、专用硬件和事件驱动架构，让眼动追踪在资源受限设备上成为可能。
智能手机眼动追踪的应用潜力与验证
基于智能手机的凝视追踪器开源实现，利用机器学习达到了与专业设备相当的准确度，并复现了眼动行为和显著性分析的关键发现。文章指出，该技术在阅读理解挑战、视觉研究、无障碍增强和医疗应用中具有潜力。此外，面向用户的学习算法在移动眼动追踪环境下实现自动物体识别，仅用少量标注样本即显著改进性能，并展现出高效的数据注释能力。
事件相机与神经形态计算的协同优势
文章介绍了事件驱动眼动追踪的独特优势：受视网膜启发的事件相机具有低延迟响应和稀疏输出事件流，超越传统基于帧的摄像机。CB-ConvLSTM模型能高效提取时空特征进行瞳孔跟踪，而神经形态学方法结合DVS摄像头和脉冲神经网络回归模型，利用低功耗边缘处理器Speck，进一步提高精确度和效率。这些技术为下一代可穿戴医疗设备如AR/VR头显提供了关键支持。
Q&A
iTracker模型的主要特点是什么？
iTracker模型基于卷积神经网络，能够在移动设备上实现实时眼动追踪，具有高预测准确率和广泛的泛化性能。
Siamese神经网络在视觉目标跟踪中的作用是什么？
Siamese神经网络通过量化优化技术显著降低内存和计算复杂度，同时实现精准的视觉目标跟踪，适用于嵌入式视觉系统。
CB-ConvLSTM模型的优势是什么？
CB-ConvLSTM模型利用事件相机的低延迟响应和稀疏输出流，能够高效提取时空特征进行瞳孔跟踪，减少算术运算而不损失精度。
基于智能手机的凝视追踪器有哪些应用潜力？
智能手机凝视追踪器在阅读理解、视觉研究和医疗应用中具有显著的潜力，能够实现与专业设备相当的眼动追踪准确度。
神经形态学方法如何提高眼动追踪的效率？
神经形态学方法结合Dynamic Vision Sensor捕获的事件数据，利用脉冲神经网络回归模型，提高眼动追踪系统的精确度和效率。
新颖的面向用户的学习算法在移动眼动追踪中有什么优势？
该算法在动态环境中实现快速适应和高效推理，表现出显著的性能改进，尤其在数据注释过程中效率高于传统方法。
