焦深度估计：一种无需校准，主体和白天不变的方法
内容提要
本研究提出了一种新型自动眼动追踪方案，利用高斯过程回归模型消除显式标定需求，并自动补偿头戴显示器的微小移动，达到高准确性。同时，开发了自校准眼动跟踪方法和深度估计模型，显著提高了深度估计的准确性和泛化能力，适用于虚拟现实环境。研究还评估了不同机器学习方法在眼部特征追踪中的表现，并提出了基于 U-Net 的轻量级框架，有效估计眼周深度图。
延伸解读
无标定眼动追踪的技术路径
文章提出利用高斯过程回归模型建模角膜位置与屏幕位置的连续映射，从而消除显式标定步骤，并能自动补偿头戴显示器的微小移动。这一方法达到了与显式标定几乎相同的准确性，为VR眼动追踪提供了一种更便捷的解决方案。
自校准眼动追踪的突破
基于用户视点自由移动和视觉固定期间注视点分布假设，研究通过3D场景时间序列数据检测注视点，并最小化注视点离散度来优化校准参数。这是首个在VR环境中平均误差低于3°的自校准方法，显著提升了实用性。
深度估计模型的泛化提升
研究开发的焦距和比例尺深度估计模型，结合相对深度网络和多尺度特征，显著提高了对未见室内场景的绝对深度估计泛化能力。在三个未见数据集上，RMSE比五个先进模型降低了41%/13%，并缓解了三维重建中的变形问题。
轻量级眼周深度估计框架
针对VR头戴设备可能引发的数字视疲劳等问题，研究提出基于U-Net 3+的轻量级框架，利用单眼摄像头估计眼周深度图，重建三维眼周区域。通过合成数千训练图像，在36名参与者中评估，在全局精度和瞳孔直径测量上表现显著。
Q&A
这种自动眼动追踪方案的主要优势是什么？
该方案消除了显式标定需求，并能自动补偿头戴显示器的微小移动，达到高准确性。
自校准眼动跟踪方法的准确性如何？
在虚拟现实环境中，该方法实现了平均误差低于3°。
深度估计模型的泛化能力如何提高？
通过采用相对深度估计网络和多尺度特征，显著提高了深度估计的泛化能力。
基于U-Net的框架适用于哪些设备？
该框架适用于任何配备有面向眼部的单眼摄像头的VR头戴设备。
研究中如何评估不同机器学习方法的表现？
通过比较不同方法在眼部特征追踪中的表现，客观评估其对最终注视估计质量的影响。
该研究对虚拟现实设备用户的影响有哪些考虑？
研究指出虚拟现实头戴设备可能导致数字视疲劳、干眼症及潜在的长期视力损害。
