BVS：多强联手，李飞飞也参与的超强仿真数据生成工具，再掀数据狂潮 | CVPR 2024 - 晓飞的算法工程笔记
内容提要
BEHAVIOR Vision Suite (BVS)是一个用于评估和理解计算机视觉模型的新工具包。它允许研究人员在场景、物体和相机级别上控制各种参数，帮助创建高度定制的数据集。BVS旨在通过提供可定制和物理真实的合成数据来解决现实世界数据集的局限性。它包括大量的物体模型和场景实例，以及可定制的数据集生成器。生成器允许用户指定场景布局、物体状态、相机角度和光照条件等参数。BVS已被证明对于评估模型的鲁棒性、比较不同的计算机视觉模型以及训练和评估物体状态和关系预测的sim2real转移非常有用。
延伸解读
BVS 的定位：填补合成数据与真实数据之间的鸿沟
真实世界数据集常受限于标注成本高、标签不准确和数据分布固定，而现有合成数据集或缺乏物理真实感，或定制能力有限。BVS 通过结合物理模拟与照片级渲染，提供可定制且物理可信的合成数据，旨在补充真实数据，帮助研究人员系统评估模型在连续参数变化下的鲁棒性，并建立可控的 sim2real 转移。
资产规模与多样性：BVS 的数据基础
BVS 扩展了 BEHAVIOR-1K 资产，包含 8,841 个物体模型和 1,000 个场景实例，覆盖住宅、办公室、餐厅、超市等多种室内环境及部分室外元素。物体类别涵盖食物、工具、电子产品等，并标注了容器填充体积、液体源汇位置等语义属性，为生成高度定制化的数据集提供了丰富的素材。
生成器的核心能力：从随机化到丰富标注
BVS 的生成器基于 OmniGibson，支持场景对象随机化、物理真实姿态生成、相机姿态与轨迹采样以及可配置渲染。它能生成包括分割掩膜、2D/3D 边界框、深度、表面法线、流场和点云在内的全面注释，并提供对象状态、二元谓语等丰富标注，使用户能精确控制场景布局、物体状态、相机角度和光照条件。
应用场景：参数化评估与 sim2real 转移
BVS 支持参数化模型评估，例如在不同光照和遮挡条件下测试模型鲁棒性；也支持在相同图像集上比较不同计算机视觉模型。此外，它还能用于训练和评估物体状态与关系预测的 sim2real 转移，帮助研究人员理解模型在模拟与真实世界之间的性能差异，从而推动更鲁棒的视觉模型发展。
Q&A
BVS是什么，它的主要功能是什么？
BVS是BEHAVIOR Vision Suite的缩写，是一个用于评估和理解计算机视觉模型的工具包，允许研究人员控制场景、对象和相机参数，创建高度定制的数据集。
BVS如何解决真实世界数据集的局限性？
BVS通过提供可定制和物理真实的合成数据，解决了真实世界数据集的高成本、不准确标签和数据分布固定等问题。
BVS的数据集生成过程包括哪些步骤？
BVS的数据集生成过程包括选择场景、随机化对象、生成相机姿态和渲染图像。
BVS的可定制数据集生成器有哪些功能？
可定制数据集生成器支持场景对象随机化、物理真实姿态生成、丰富的谓语标注和相机姿态采样等功能。
BVS如何支持模型的鲁棒性评估？
BVS允许研究人员在不同条件下（如光照和遮挡）参数化评估模型的鲁棒性，帮助理解模型的局限性。
BVS的扩展BEHAVIOR-1K资产包含哪些内容？
扩展的BEHAVIOR-1K资产包括8841个物体模型和1000个场景实例，涵盖多种环境和物体类型。
