京东广告研发——AIGC在京东广告创意的技术应用
内容提要
京东广告部门提出了关系感知扩散模型、背景生成模型和海报生成模型，解决电商广告制作效率和成本问题。这些方法能自动生成高质量广告创意，提升广告收入。未来技术探索方向包括提高可控性、多模态处理和个性化广告创意生成。
延伸解读
技术方案如何解决电商广告痛点
文章指出，电商广告图片依赖人工制作，存在效率和成本限制，而现有AIGC技术缺乏卖点信息、难以规模化和个性化。京东广告部门提出的关系感知扩散模型、背景生成模型和海报生成模型，分别针对布局生成、背景生成和端到端海报生成，旨在自动生成高质量广告创意并提升广告收入。这些方法共同解决了卖点信息叠加、规模化个性化和端到端生成的问题。
关系感知扩散模型的创新点
关系感知扩散模型用于海报布局生成，同时考虑视觉-文本和几何关系因素。通过图文关系感知模块（VTRAM）对齐图像与文本特征，几何关系感知模块（GRAM）增强元素间的位置关系理解。用户可以通过预定义布局或改变文本内容控制生成过程，这提高了布局的合理性和可控性，解决了传统方法忽略视觉内容和元素关系的问题。
背景生成模型的类目共性与个性化融合
背景生成模型结合类目共性和个性化风格，生成自然逼真的商品广告背景。类目共性生成器（CG）提取商品透底图信息，生成适配类目的通用背景；个性化生成器（PG）从参考图像提取布局、色彩等个性化信息。两者特征合并输入Stable Diffusion解码器，无需复杂提示词设计，实现了规模化和个性化的背景生成，克服了文生图和图生图模式的局限性。
端到端海报生成与未来挑战
端到端商品海报生成方法借鉴人类设计师的规划和渲染两阶段流程，PlanNet生成布局，RenderNet渲染海报，结合空间融合模块和ControlNet指导Stable Diffusion。未来技术探索方向包括提高可控性、多模态处理和个性化广告创意生成。文章提到，由于对商品内容和外形理解欠缺，生成素材在可控性上存在劣势，可能引发用户投诉风险，这指出了当前技术的局限和待改进之处。
Q&A
京东广告部门提出了哪些模型来提高广告制作效率？
京东广告部门提出了关系感知扩散模型、背景生成模型和海报生成模型。
关系感知扩散模型的主要功能是什么？
关系感知扩散模型用于海报布局生成，考虑视觉-文本和几何关系因素。
背景生成模型如何实现个性化广告创意？
背景生成模型结合类目共性和个性化风格，生成自然、逼真的商品广告背景。
京东广告未来的技术探索方向有哪些？
未来的技术探索方向包括提高可控性、多模态处理和个性化广告创意生成。
海报生成模型的工作流程是怎样的？
海报生成模型分为规划和渲染两个阶段，规划阶段生成布局，渲染阶段生成最终图像。
京东广告如何解决AIGC技术在广告中的应用问题？
京东广告通过构建关系感知扩散模型、类别生成器和个性化生成器来解决AIGC技术的应用问题。
