多元部分合成用于 3D 形状创建
内容提要
该文综述三维形状生成与部件化建模研究：PAGENet利用部件感知深度生成网络降低建模难度；少样本生成通过领域自适应避免过拟合；Neural Parts以可逆神经网络定义语义一致基元；自监督方法支持用户控制部件分解；ShapeAssembly用组装语言生成可解释、可编辑形状；组合通用性框架提升单目重建泛化能力；多模态框架简化业余用户资产生成；几何感知方法生成符合场景结构的图像；PartNeRF实现无需显式引导的可编辑三维合成。
延伸解读
部件化建模如何降低3D生成难度
文章中的多项研究都指向同一思路：将复杂三维形状拆解为语义部件再分别生成或组装。PAGENet用部件感知的VAE-GAN生成语义部件并组装，Neural Parts用可逆神经网络定义语义一致的基元，ShapeAssembly则用组装语言提取可解释的程序。这种分解策略把整体建模的难度转移到部件层面，使生成结果更易编辑和复用，但也依赖部件分割的质量。
少样本与自监督：数据效率的两条路径
针对三维数据稀缺的问题，文章介绍了两种互补方案。少样本生成通过领域自适应利用预训练模型，在有限数据下保持多样性并避免过拟合；自监督分解则借助用户提供的部件库，让用户完全控制部件的选择和分解方式。前者侧重降低数据需求，后者侧重提升用户控制力，两者都试图在数据不足时维持生成质量。
可编辑性与多模态输入的实际价值
ShapeAssembly生成可解释、可编辑的形状程序，PartNeRF无需显式引导即可实现可编辑的三维合成，多模态框架则允许业余用户同时使用不完整形状、图像和文字描述并调整各输入权重。这些工作共同表明，三维生成正从单纯追求逼真度转向强调可控性和易用性，让非专家也能通过组合输入和编辑操作获得所需资产。
组合通用性对单目重建的意义
文章提到组合通用性框架旨在让单目图像三维重建更好地泛化到几何分布差异很大的未见类别，并在PartNet上取得优于当时最先进方法的性能。这说明将问题分解为部件组合，有助于模型摆脱对训练类别形状分布的依赖。不过，文章也指出三维生成与感知图像合成仍面临困难和挑战，相关方法的广泛适用性仍需进一步验证。
Q&A
PAGENet 是如何降低三维形状建模难度的？
PAGENet 通过部件感知深度生成网络建模三维形状变化，利用每个部件的 VAE-GANs 生成语义感知的部件，再使用部件组装模块将它们组装在一起，从而降低建模难度。
少样本 3D 形状生成如何避免过拟合？
该方法利用先前训练好的生成模型，通过领域自适应方式，基于有限训练数据实现少样本生成，在保持多样性的同时避免过拟合。
Neural Parts 用什么方法表示三维基元？
Neural Parts 使用可逆神经网络定义基元，并通过学习将三维对象解析为语义一致的部件排列，实现精确重建。
ShapeAssembly 如何生成可解释可编辑的 3D 形状？
ShapeAssembly 提出面向领域的 3D 形状结构组装语言，并训练层次顺序 VAE 从现有形状结构中提取 ShapeAssembly 程序，从而生成可解释和可编辑的 3D 形状。
如何让业余用户用多种输入生成 3D 资产？
有一种多模态框架支持不完整形状、图像和文字描述等多种输入，并允许调整每个输入的相对权重和互动性，从而简化业余用户的 3D 资产生成。
PartNeRF 在三维合成中有什么特点？
PartNeRF 是一种局部感知生成模型，能够不需要显式引导实现可编辑的三维模型合成，作为局部定义的 NeRF 集合生成对象，支持多种编辑操作。
