CrossGaze：野外三维凝视估计的强大方法
内容提要
该文综述三维凝视估计研究进展，涵盖Gaze360数据集、弱监督眼部语义分割、基于LAEO标签的弱监督算法、单阶段多人脸注视估计、面部关键点回归、半监督对比学习、MPIIGaze数据集与GazeNet、多视角特征融合及多模态卷积神经网络等方法，显著降低角度误差并提升跨域泛化性能。
延伸解读
从Gaze360到多模态：三维凝视估计的技术演进
文章梳理了三维凝视估计领域从2017年到2023年的多项研究，包括Gaze360数据集、MPIIGaze数据集、弱监督语义分割、LAEO标签、单阶段多人脸估计、半监督对比学习、多视角特征融合和多模态卷积神经网络等。这些工作从不同角度降低了角度误差，并提升了跨域泛化性能，反映了该领域在数据、监督方式和网络架构上的持续进步。
弱监督与半监督：降低标注依赖的尝试
自然场景下获取三维凝视注释成本高昂，文章提到利用弱监督眼部语义分割掩码和少量三维注视向量，以及基于LAEO标签的弱监督算法，还有半监督对比学习框架。这些方法旨在减少对大量精确标注的依赖，同时保持估计准确性，并改善跨域泛化，为实际部署提供了更可行的路径。
应用场景：从超市到辅助生活
文章不仅关注算法本身，还展示了三维凝视估计的实际应用。例如，在超市环境中应用Gaze360模型评估客户注意力；在辅助生活环境中，通过面部关键点回归和置信度门控单元，自动推理居民与周围物体的互动。这些案例表明该技术正从实验室走向真实场景，服务于行为分析和智能辅助。
性能提升与泛化挑战
文章多次提到角度误差的降低和跨域泛化性能的提升。例如，MPIIGaze上的GazeNet将平均误差从13.9度降至10.8度；弱监督方法比基线降低约5度。同时，多视角特征融合和半监督对比学习等方法致力于解决未见头部姿势和未见过人脸图像的泛化问题，显示出该领域对鲁棒性的持续追求。
Q&A
Gaze360数据集有什么特点？
Gaze360数据集提供了在不受限制的图像中进行三维凝视估计的方法，通过时间信息扩展了现有模型，直接输出凝视不确定性的评估，并展示了在不同凝视基准数据集上的泛化性能。
弱监督眼部语义分割如何用于3D注视估计？
使用弱监督的眼部语义分割掩码和少量三维注视向量，结合基于Transformer的网络架构，可以预测3D眼部注视，与基线相比角度注视误差降低约5度。
LAEO标签在凝视估计中起什么作用？
基于LAEO标签的弱监督凝视估计算法通过训练算法和损失函数实现了可行的三维凝视监督，对于半监督凝视估计的准确性和跨域泛化的改进方面取得了显著进展。
如何同时估计多个面孔的注视方向？
提出一种新的单阶段端到端注视估计方法，可同时预测图像中多个面孔（>10）的注视方向，并使用MPSGaze数据集验证了该方法的有效性和易用性，为实时应用提供支持。
MPIIGaze数据集和GazeNet有什么贡献？
MPIIGaze数据集包含213659个人的实验数据，并对现有三个数据集进行了广泛评估，研究了目标视线范围、光照条件和面部外观变化等关键挑战，提出了第一种深度外观估计方法GazeNet，将平均误差从13.9度提高到10.8度。
多视角注视估计中如何融合特征？
提出了一种多视角注视估计任务并跨视图特征融合的方法，通过使用相对旋转矩阵来训练网络提取可旋转的特征表示，并自适应地通过堆叠的融合模块融合这些特征，显著提高了模型在未见头部姿势下的泛化性能。
