GTAutoAct：一种基于游戏引擎重构的自动数据集生成框架用于行为识别
内容提要
该文综述了人体动作识别与生成研究：利用3D模拟引擎和游戏引擎生成大规模合成动作视频数据集，结合少量真实数据提升识别性能；提出AutoAct自动代理学习框架和AutoVideo视频动作识别系统；探索用视频游戏和GAN生成数据改善无人机空中行为识别，并研究逆向动作识别与端到端活动分割方法。
延伸解读
合成数据如何提升行为识别
文章指出，利用游戏引擎生成的合成视频数据集（如包含39,982个视频、35个动作类别的数据集）可以显著提高行为识别性能。即使真实数据集的动作类别与合成数据不同，结合少量真实数据也能大幅提升识别效果。这表明合成数据能弥补真实数据不足，尤其在标注成本高的场景中具有实用价值。
游戏引擎与GAN在无人机识别中的角色
针对无人机空中行为识别训练数据成本高、费时的问题，研究探索了视频游戏和生成式对抗网络（GAN）作为替代数据源。通过分离多任务学习框架集成两个数据集，结果表明，在仅有少量实际训练样本的情况下，这些合成影像能显著提高分类准确度，为低成本数据获取提供了可行路径。
自动代理与视频识别系统
AutoAct是一个自动代理学习框架，不依赖大规模标注数据和闭源模型的合成轨迹，通过自动合成规划轨迹和分工策略实现多功能单一模型，在不同LLM上获得优于或类似强基准的性能。AutoVideo则是一个Python系统，提供自动化视频动作识别，具有模块化、可扩展的基础设施和图形用户界面，便于研究与应用。
Q&A
GTAutoAct 是什么？它有什么作用？
GTAutoAct 是一种基于游戏引擎重构的自动数据集生成框架，用于行为识别。它利用 3D 模拟引擎和游戏引擎生成大规模合成动作视频数据集，结合少量真实数据提升识别性能。
如何利用游戏引擎生成人体动作视频数据集？
通过过程生成、物理模型和现代游戏引擎组件，可以生成逼真、多样且符合物理规律的人体动作视频。例如，一个方法生成了包含 39,982 个视频、35 个动作类别的数据集。
合成数据在行为识别中能起到什么作用？
合成数据可以显著提高视频行为识别性能。结合大量合成视频和少量真实数据集，即使动作类别不同，也能大幅提升识别准确度，并优于现有的无监督生成模型的微调。
AutoAct 是什么？它有什么特点？
AutoAct 是一个自动的代理学习框架，不依赖于大规模标注数据和闭源模型的合成轨迹。它通过自动合成规划轨迹和分工策略来实现多功能单一模型，在不同 LLMs 上获得比强基准更好或类似的性能。
AutoVideo 系统是什么？它有什么功能？
AutoVideo 是一个 Python 系统，提供自动化的视频动作识别。它具有高度模块化和可扩展的基础设施，包含数据驱动的调节器来支持研究，以及易于使用的图形用户界面。
如何利用视频游戏和 GAN 改善无人机空中行为识别？
针对无人机训练数据成本高的问题，探索使用视频游戏和生成式对抗网络（GAN）作为替代数据源。利用分离多任务学习框架集成两个数据集，结果表明视频游戏和 GAN 生成的影像能在只有少量实际训练样本的情况下显著提高空中行动识别的准确度。
