ICML 2024 | 人物交互图像，现在更懂你的提示词了，北大推出基于语义感知的人物交互图像生成框架
内容提要
北京大学的研究团队提出了一种姿势和交互感知的人物交互图像生成框架（SA-HOI），通过利用人体姿势和交互边界区域信息进行去噪过程的指导，生成更合理、更真实的人物交互图像。实验结果表明，该方法在人体生成质量、交互语义表达、人物交互距离等方面优于现有模型。
延伸解读
技术核心：姿态与交互的双重引导
SA-HOI 的核心创新在于将人体姿态和交互边界区域信息作为去噪过程的指导。具体来说，它利用姿态检测器获取关节位置和置信分数，构建姿态掩码以高亮低质量姿态区域；同时利用分割模型定位交互边界区域，生成交互掩码以增强语义表达。在每个去噪步骤中，这些掩码作为约束修正高亮区域，从而减少生成问题。这种双重引导机制直接针对人物交互生成中姿势复杂性和交互边界不可靠的挑战，提升了生成图像的合理性和真实性。
迭代修正：自我优化的生成流程
SA-HOI 引入了迭代反演和修正流程（IIR），通过质量评估器对生成图像进行评分，并利用图像反演获取噪声潜在特征和文本嵌入，作为下一轮修正的输入。该流程以“反馈、评估、修正”的循环逐步提高图像质量，当质量分数变化低于阈值时停止优化，输出最佳结果。这种迭代机制使模型能够自我修正，避免了单次生成的局限性，从而在多个评估指标上优于现有方法。
评估基准：全面衡量生成质量
为了系统评估人物交互图像生成，研究团队构建了首个涵盖人-物体、人-动物和人-人交互的基准，包含从 HICO-DET 筛选的 150 个交互类别和 5k 真实图像。同时设计了可靠性、可行性和保真度三类指标：可靠性通过姿势分布距离和人-物体距离分布评估与真实图像的接近程度；可行性通过姿势置信度分数衡量人体关节的合理性；保真度通过人物交互检测和图文检索评估语义一致性。这一基准为后续研究提供了标准化评估工具。
实验表现：多维度优势与主观认可
实验结果显示，SA-HOI 在人物交互图像生成指标和常规图像生成指标上均优于现有基于扩散的模型，在人体生成质量、交互语义表达、人物交互距离和人体姿态分布等多个维度表现更佳。定性对比中，SA-HOI 能准确表达“亲吻”等交互语义，生成更合理的人体姿势，并缓解人体扭曲和畸变，例如在“拿手提箱”场景中生成拉杆以增强交互语义。主观评测也表明，SA-HOI 的结果在人体质量、物体外观、交互语义和整体质量上更符合人类审美。
Q&A
SA-HOI框架的主要功能是什么？
SA-HOI框架通过姿势和交互感知生成更真实的人物交互图像，利用人体姿势和交互边界信息进行去噪指导。
SA-HOI在图像生成质量上有什么优势？
SA-HOI在人体生成质量、交互语义表达和人物交互距离等方面优于现有模型。
SA-HOI是如何提升图像生成质量的？
SA-HOI通过姿态和交互指导、迭代反演和修正流程来提升图像生成质量。
该研究团队在图像生成领域的贡献有哪些？
研究团队提出了涵盖人-物体、人-动物和人-人交互的图像生成基准，并设计了评估指标。
SA-HOI框架解决了哪些图像生成的挑战？
SA-HOI解决了人体姿势复杂性和交互边界区域生成不可靠的挑战。
如何评估SA-HOI生成图像的质量？
评估指标包括可靠性、可行性和保真度，综合评估生成图像的质量。
