AIGC在京东广告创意的技术应用
内容提要
京东广告部门提出了一系列创新性方法来解决电商广告图片制作的问题，包括关系感知扩散模型、背景生成模型和海报生成模型。这些方法实现了高质量广告创意的自动生成，提升了平台广告收入。
延伸解读
技术突破：关系感知扩散模型如何提升海报布局质量
京东广告部门提出的关系感知扩散模型，通过图文关系感知模块和几何关系感知模块，同时考虑视觉-文本和几何关系因素，解决了传统方法忽略视觉内容和元素间坐标关系的问题。该模型能够生成更合理的海报布局，用户可通过预定义布局或改变文本内容控制生成过程，从而提升广告创意的信息传递效果。
背景生成：融合类目共性与个性化风格的新方法
针对现有背景生成方法在提示词设计和细粒度控制上的不足，京东提出了基于参考图像的方法。该方法包含类目共性生成器和个性化生成器，分别提取商品类别信息和参考图像的布局、风格等个性化信息，无需复杂提示词即可生成与参考图相似的背景，实现了规模化和个性化的广告图片自动生成。
端到端海报生成：规划与渲染两阶段框架
京东借鉴人类设计师的流程，提出基于规划和渲染的端到端海报生成框架。规划网络生成视觉元素的布局，渲染网络根据布局和商品图像生成最终海报。该框架解决了简单串联图像填充和布局生成导致的背景复杂度高、布局多样性低的问题，实现了高质量且多样化的商品海报生成。
未来展望：可控性、多模态与个性化挑战
尽管AIGC技术取得进展，但仍面临可控性不足、多模态融合不充分和个性化程度有限等挑战。京东广告部门计划在未来探索提升对商品内容和外形的理解以增强可控性，优化文字、图像、视频等多模态内容的整合，并利用用户数据生成符合特定群体偏好的个性化广告创意。
Q&A
京东广告部门提出了哪些创新方法来解决电商广告图片制作的问题？
京东广告部门提出了关系感知扩散模型、背景生成模型和海报生成模型等创新方法。
关系感知扩散模型的主要功能是什么？
关系感知扩散模型将卖点信息叠加在商品图片上，以优化广告效果。
背景生成模型如何实现规模化和个性化的图片自动生成？
背景生成模型融合类目共性和个性化风格，自动生成适配商品的背景。
海报生成模型的端到端生成过程是怎样的？
海报生成模型通过规划网络生成合理布局，再通过渲染网络生成最终海报图像。
扩散模型在海报布局生成中的作用是什么？
扩散模型通过去噪过程生成海报布局，逐步调整噪声以获得最终布局。
未来京东在AIGC技术方面有哪些探索方向？
未来京东将在可控性、多模态和个性化广告创意等方向开展技术探索。
