ICIP 2024 | 一种新的多人人物交互数据集与NVS基准
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
上海交通大学在ICIP 2024推出了一个新的人物交互数据集，包含38组30视角的多人或单人RGB-D视频序列，提供摄像机参数、前景掩码和SMPL模型等信息。视频由30台Kinect Azure摄像机以4K分辨率和25FPS拍摄，解决了现有数据集视角有限和分辨率低的问题，为神经视点合成研究提供了基准，旨在推动人物交互和NVS领域的发展。
❓
Q&A
新的人物交互数据集包含哪些主要内容？
该数据集包含38组30视角的RGB-D视频序列，提供摄像机参数、前景掩码、SMPL模型、点云和网格文件等信息。
这个数据集如何解决现有数据集的不足？
新数据集提供多视角、高分辨率的视频序列，解决了现有数据集视角有限和分辨率低的问题，增强了人物交互研究的质量。
数据集的拍摄设备和参数是什么？
视频由30台Kinect Azure摄像机以4K分辨率和25FPS拍摄，视频时长为1至19秒。
新数据集对神经视点合成（NVS）研究有什么贡献？
新数据集为NVS研究提供了基准，并通过丰富的先验信息帮助减轻复杂交互模式和遮挡问题的影响。
数据集中提供了哪些辅助信息？
数据集提供前景掩码、点云、网格文件和SMPL模型，这些信息可用于人物交互模型的训练。
如何评估数据集上的NVS模型性能？
使用峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似性（LPIPS）来评估预测图像的质量。
🏷️
