基于旋转和投影矩阵的几何约束相机标定
内容提要
该文综述了相机标定与三维姿态估计的多项研究，包括联合焦距与姿态估计、无目标外参校准、神经几何解析器、自监督GLNet、字典校准、实时自监督内外参学习、SIFT基础矩阵估计、街景交通摄像头校准、概率融合框架及全局平移线性估计，并在多个数据集上优于现有方法。
延伸解读
几何约束在相机标定中的核心作用
文章综述的多项研究均强调几何约束对相机标定的重要性。例如，无目标外参校准利用几何特征提供稳健的信息度量；神经几何解析器同时考虑语义和几何提示以提高准确性；GLNet设计考虑多种几何约束的新型损失函数；全局平移估计方法通过推导线性位置约束解决共线运动问题。这些工作表明，几何约束是提升标定精度和鲁棒性的关键。
自监督与无目标标定降低数据依赖
文章介绍了多种减少对标注数据或物理目标依赖的方法。GLNet是自监督框架，从单目视频学习深度、光流、相机姿态和内参；实时自监督内外参学习框架无需标注或物理目标；无目标外参校准算法无需训练数据、人工设计特征或离线优化。这些方法降低了标定成本，提升了在野外场景的适用性。
多传感器融合与概率框架提升鲁棒性
针对多传感器系统，文章提到无目标外参校准算法能融合多个传感器数据到共同空间参考框架；概率融合框架利用两个预测模型的互补优点，通过自我注意图神经网络驱动学习，显式指导几何不确定性学习。这些方法在DeMoN和ScanNet等数据集上达到最先进性能，表明融合策略能有效提升标定鲁棒性。
大规模与实时标定的实际应用
文章中的方法注重实际部署。街景交通摄像头校准框架可扩展至100多个全球摄像头，用于交通分析；全局平移估计线性方法不涉及场景点坐标，适用于大规模数据，对离群值鲁棒；实时自监督内外参学习框架无需特殊平面即可在线学习。这些进展推动了相机标定在自动驾驶、城市监控等领域的应用。
Q&A
相机标定中如何同时估计焦距和3D姿态？
采用深度学习技术和几何算法，将焦距明确地估计并整合到3D姿态估计中，实现对野外物体类别的姿态和焦距估计，在Pix3D、Comp和Stanford数据集上优于现有方法。
无目标外参校准算法有什么特点？
无需训练数据、人工设计特征或离线优化，能够准确、精确且极其鲁棒地融合多个传感器数据到共同空间参考框架，利用几何特征提供稳健的相机-激光雷达外参校准信息度量。
神经几何解析器如何提高相机校准准确性？
通过学习使用单个图像进行机器场景的相机校准，同时考虑语义和几何提示，相比仅依赖神经网络语义提示的方法，显著提高了准确性。
GLNet自监督框架能学习哪些内容？
GLNet能从单目视频中学习深度估计、光流、相机姿态和内在参数，包括设计考虑多种几何约束及自适应光度损失的新型损失函数、扩展模型以预测相机内参、提出几种在线细化策略。在KITTI和Cityscapes数据集上优于以前的自监督方法。
基于字典的相机校准方法有什么改进？
利用定制的空间变换网络（STN）和新颖的拓扑损失函数，改善了IoU指标，相对于最先进模型提高了12％。
如何利用街景图像校准交通摄像头？
通过利用街景图像重建度量的三维模型并精确校准100多个全球交通摄像头，展示了一个可扩展的框架，解决基于野外摄像头的精确校准挑战，并通过提取信息进行交通分析。
