【前瞻技术布局】京东零售广告创意：引入场域目标的创意图片生成
内容提要
本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提升点击率（CTR）。通过预训练和强化学习，生成与商品特征相符且吸引用户的广告图像。实验结果表明，该方法在CTR预测和生成效果上优于现有技术。
关键要点
-
本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提升点击率（CTR）。
-
通过预训练和强化学习，生成与商品特征相符且吸引用户的广告图像。
-
实验结果表明，该方法在CTR预测和生成效果上优于现有技术。
-
现有广告图像生成方法主要关注美学质量，未能充分考虑与点击率的关系。
-
提出了一种奖励模型，通过强化学习微调生成模型，以准确反映用户点击偏好。
-
强调广告图像生成中背景与商品之间的相关性，避免视觉不协调。
-
在大规模多模态电商数据集上预训练多模态大语言模型，为广告图像生成奠定基础。
-
构建了图像理解、多模态内容理解和提示词生成的预训练任务。
-
将CTR预测任务重新定义为图像对之间的相对比较任务，以减轻不同商品类别之间的影响。
-
引入以商品为中心的偏好优化策略，确保生成的背景与商品特征一致。
-
通过在线实验验证了CAIG方法在提高广告图像CTR方面的有效性。
-
与现有模型相比，提出的方法在商业和公开数据集上均取得了最先进的性能。
延伸解读
广告图像生成的创新意义
本文提出的基于多模态大型语言模型的广告图像生成方法，强调了点击率（CTR）作为核心目标。这一创新不仅提升了广告效果，还为电商平台提供了更具吸引力的广告内容，推动了广告技术的发展。
强化学习在广告生成中的应用
通过引入强化学习和奖励模型，本文有效地优化了广告图像的生成过程。这种方法能够更好地反映用户的点击偏好，确保生成的广告图像在视觉上与商品特征相符，从而提升用户体验。
商品与背景的相关性
文章强调了广告图像中商品与背景之间的相关性，指出现有方法常忽视这一点。通过以商品为中心的偏好优化策略，确保生成的背景与商品特征一致，避免了视觉不协调的问题，提升了广告的整体效果。
延伸问答
京东提出的广告图像生成方法有什么创新之处？
京东提出了一种基于多模态大型语言模型的广告图像生成方法，重点优化点击率（CTR），并通过强化学习微调生成模型以更好地反映用户点击偏好。
该方法如何提高广告图像的点击率？
该方法通过构建奖励模型和以商品为中心的偏好优化策略，确保生成的广告图像背景与商品特征一致，从而提升点击率。
实验结果显示该方法的效果如何？
实验结果表明，该方法在CTR预测和生成效果上优于现有技术，在线和离线指标均达到了最先进的性能。
现有广告图像生成方法存在哪些局限性？
现有方法主要关注美学质量，未能充分考虑与点击率的关系，导致生成的广告图像与用户偏好存在显著差异。
如何定义CTR预测任务？
CTR预测任务被重新定义为图像对之间的相对比较任务，以减轻不同商品类别之间的影响。
该方法在多模态电商数据集上是如何预训练的？
该方法在大规模多模态电商数据集上进行预训练，构建了图像理解、多模态内容理解和提示词生成的预训练任务。
