SEA-RAFT：用于光流的简单高效准确的 RAFT 算法
内容提要
RAFT是一种新型深度网络结构，专注于光流估计，具有高效的推断和训练速度。通过引入注意力机制和架构改进，RAFT在多个数据集上实现了显著的性能提升。相关方法如RAFT-Stereo和SMURF进一步优化了光流学习和立体匹配，展现出在准确性和效率上的优势。
延伸解读
RAFT 的核心设计：迭代更新与多尺度相关性
RAFT 通过提取每个像素的特征，为所有像素建立多尺度 4D 相关性体，并利用循环单元迭代更新光流场。这种设计使其在 KITTI 和 Sintel 数据集上达到领先性能，同时保持高效的推断时间、训练速度和参数计数。与传统方法相比，RAFT 的迭代优化机制能更精细地处理光流估计中的细节。
基于 RAFT 的扩展模型：从立体匹配到三维场景流
RAFT 的架构被成功扩展到多个领域。RAFT-Stereo 引入多级卷积 GRU，在 Middlebury 榜单排名第一，1px 误差比第二名低 29%。RAFT-3D 加入刚性运动嵌入和 Dense-SE3 可区分层，在 FlyingThings3D 和 KITTI 上取得最先进性能。这些扩展展示了 RAFT 框架的通用性和可扩展性。
训练策略与无监督学习的突破
重新审视训练细节后，PWC-Net 和 IRR-PWC 在 Sintel 和 KITTI 2015 上的性能比原始发布提升了 30%，RAFT 在 KITTI 2015 上达到 4.31% 的 Fl-all 得分。SMURF 方法结合 RAFT 架构改进和无监督学习技术，性能比之前最佳方法 UFlow 提高了 36% 至 40%，甚至超过一些监督方法。这表明训练策略和无监督学习对光流估计至关重要。
注意力机制与全局匹配的演进
AFL 方法通过注意力机制处理全局特征提取和重复模式问题，在 Sintel 和 KITTI 上分别提升 10% 和 5%，仅速度降低 33%、内存增加 13%。GMFlow 将光流重新表述为全局匹配问题，使用定制 Transformer 和自注意力层，实现高准确性和高效率。这些进展显示光流估计正从局部相关性向全局匹配和注意力机制演进。
Q&A
RAFT算法的主要应用是什么？
RAFT算法主要用于光流估计，能够高效地提取每个像素的特征并更新光流场。
RAFT算法在性能上有什么优势？
RAFT算法在KITTI和Sintel数据集上实现了最新的性能，具有高效的推断时间和训练速度。
AFL方法如何改进光流估计？
AFL方法通过引入注意力机制提高全局特征提取能力，在Sintel和KITTI数据集上分别提高了10%和5%的性能。
RAFT-Stereo的特点是什么？
RAFT-Stereo通过多级卷积GRU实现准确的实时推断，并在Middlebury榜单上排名第一。
SMURF方法的创新之处在哪里？
SMURF方法结合了RAFT的架构改进，实现了光流的无监督学习，性能比之前最佳方法提高了36%至40%。
GMFlow框架是如何实现高效光流估计的？
GMFlow框架通过定制Transformer和自注意力层进行特征增强和流传播，从而实现高准确性和高效率的光流估计。
