MatSynth：现代 PBR 材质数据集
内容提要
WinSyn是一个包含7.5万张建筑窗户照片和2.1万张合成图像的数据集，用于合成到真实的研究。文中还介绍了Hypersim、Synscapes、MatrixCity、SynthCity、PhotoMat、PhotoShapes等多个合成数据集与方法，涵盖室内场景理解、街景分割、城市神经渲染、点云分类、PBR材料提取与生成等，旨在推动合成数据生成及计算机视觉研究。
延伸解读
窗户作为合成数据研究的基准对象
WinSyn选择建筑窗户作为研究合成数据与真实数据差距的基准，因为窗户在几何形态和材料上变化丰富，且处于受限环境中，便于控制变量。数据集包含75,739张高分辨率照片和21,290张合成图像，其中9,002个窗户子图带有语义标签。这种设计让研究者能系统分析渲染、材料和几何因素对任务准确性的影响，而不仅仅是比较整体性能。
合成数据集覆盖多样视觉任务
文中列举的多个合成数据集分别面向不同任务：Hypersim提供室内场景的完整标注，用于语义分割和3D形状预测；Synscapes专注于街景分割；MatrixCity支持城市规模神经渲染；SynthCity用于3D点云分类。这些数据集表明合成数据已从单一场景扩展到室内、街景、城市和点云等多种视觉理解任务，为预训练和基准测试提供了可替代真实数据的选择。
从真实照片生成PBR材料的进展
PhotoMat和另一项基于扩散模型的方法都致力于从真实照片中提取或生成PBR材料。PhotoMat通过训练神经材料生成器创建任意光照下的材料；扩散模型方法则将图像区域映射到材料概念，再分解为空间变化的BRDF，并通过无监督领域适应泛化到新样本。这些工作试图弥补合成材料数据不足的问题，使生成的材料在视觉上更真实，并可用于编辑3D场景。
合成数据用于预训练与基准测试的实践
多个数据集展示了合成数据在预训练和基准测试中的实际用途。Hypersim证明使用其预训练可显著改善语义分割和3D形状预测；Synscapes在街景分割上展示了先进结果，并分析了模型在合成数据上的推断行为；SynthCity则提出用合成点云预训练网络是可行方案。这些案例说明合成数据不仅能扩充样本，还能用于评估算法在受控条件下的表现。
Q&A
WinSyn数据集包含哪些类型的数据？
WinSyn数据集包含75,739张全球建筑窗户的高分辨率照片（涵盖传统和现代设计），以及89,318个窗户剪裁子图像（其中9,002个具有语义标签）。此外，还提供了21,290个合成图像，这些图像由与领域匹配的逼真程序模型生成。
为什么选择窗户作为研究合成数据生成的基准对象？
因为窗户在设计上呈现出较大的几何形态和材料变化，使其成为在受限环境中研究合成数据生成的理想对象。
Hypersim数据集有什么特点？
Hypersim是一个用于室内场景计算机视觉理解的合成数据集，提供场景、对象和像素级别的完整标注信息。评估表明，使用该数据集进行预训练可以显著改善语义分割和3D形状预测任务的性能。
PhotoMat方法如何生成材料？
PhotoMat是一种基于真实材料照片的材料生成器，通过训练一个神经材料表征的生成器来创建任意光照下的材料，从而生成视觉上更真实精细的材料，用于高质量3D渲染。
从单张图像提取PBR材料的方法是什么？
该方法通过扩散模型将图像区域映射到材料概念，然后利用独立网络将生成的纹理分解成空间变化的BRDFs，并通过无监督领域适应实现对新样本的泛化。该方法在合成和真实数据集上评估，并展示了从实际照片估计材料编辑3D场景的适用性。
MatrixCity数据集包含哪些内容？
MatrixCity是一个大规模、高质量的城市规模神经渲染合成数据集，包含来自两个城市地图的67,000张航拍图像和452,000张街道图像，通过Unreal Engine 5 City Sample项目收集，可用于城市规模神经渲染等研究。
