DeRainGS：用于增强雨中场景重建的高斯点云技术
内容提要
本研究提出了一种半自动方法生成高质量干净图像，并构建了包含3000个视频序列和100万帧高分辨率图像的数据集。新开发的SPatial Attentive Network（SPANet）有效去除雨条带，性能优越。同时，引入了在线密集建图框架HGS-Mapping，提升了重建精度和速度。RainyScape框架通过神经渲染和雨预测模块成功重建干净场景，表现卓越。
延伸解读
数据集与去雨技术的关系
文章提到构建了包含3000个视频序列和100万帧高分辨率图像的大规模高质量真实雨数据集（LHP-Rain），并设计了基于Transformer的单幅图像去雨算法。这表明大规模配对数据对于训练去雨模型至关重要，而该数据集在多样性和规模上具有优势，可能推动去雨技术在实际场景中的应用。
在线建图框架的效率提升
HGS-Mapping是一种在线密集建图框架，采用混合高斯表示和自适应更新方法，在实现SOTA重建精度的同时，仅使用66%的高斯模型数量，并加快了20%的重建速度。这显示该框架在保持高精度的同时显著提升了效率，对于实时或大规模场景重建有实际意义。
无监督去雨与场景重建
RainyScape是一个无监督框架，能够从多角度雨天图像中重建干净场景。它通过神经渲染和雨预测模块的联合优化，消除雨水痕迹并生成干净图像，达到了最先进的水平。这为无需配对数据的去雨和重建提供了新思路，但可能对多视角输入有依赖。
Q&A
DeRainGS技术的主要创新点是什么？
DeRainGS技术通过引入SPatial Attentive Network（SPANet）和在线密集建图框架HGS-Mapping，有效去除雨条带并提升重建精度和速度。
RainyScape框架是如何工作的？
RainyScape框架通过神经渲染模块和雨预测模块，利用学习到的雨水特征进行优化，成功重建干净场景。
研究中构建的数据集有什么特点？
该数据集包含3000个视频序列和100万帧高分辨率图像，具有更高的多样性和更大规模的雨。
SPANet在去雨效果上与现有技术相比如何？
SPANet以本地到全局的方式移除雨条带，性能优越，与现有去雨技术相当。
HGS-Mapping框架的优势是什么？
HGS-Mapping框架实现了高保真和快速重建，提升了重建精度和速度，仅使用66%的高斯模型数量。
研究的最终成果在评估中表现如何？
在CVPR 2023的评估中，该框架在平均结构相似性(SSIM)上获得第一名，在平均峰值信噪比(PSNR)上获得第二名。
