【前瞻技术布局】京东零售广告创意：引入场域目标的创意图片生成
内容提要
本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提高点击率（CTR）。通过预训练和强化学习，模型生成与商品特征一致且吸引用户的广告图像。实验结果表明，该方法在CTR预测和生成效果上优于现有技术，显著提升了广告效果。
关键要点
-
本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提高点击率（CTR）。
-
现有方法主要关注美学质量，未能有效提升在线表现。
-
通过预训练和强化学习，模型生成与商品特征一致且吸引用户的广告图像。
-
提出了一种新颖的奖励模型，通过强化学习微调生成模型，准确反映用户点击偏好。
-
开发了以商品为中心的偏好优化策略，确保生成的背景内容与商品特征一致。
-
大量实验表明，该方法在CTR预测和生成效果上优于现有技术，显著提升了广告效果。
-
背景与商品之间的相关性在广告图像生成中至关重要。
-
提出的点击率驱动广告图像生成（CAIG）方法能够生成引人注目的广告图像。
-
在大规模多模态电商数据集上进行预训练，为模型注入电商领域知识。
-
通过构建成对的训练样本，重新定义CTR预测任务为图像对之间的相对比较任务。
-
引入直接偏好优化（DPO）和以商品为中心的偏好优化（PCPO）来提升生成图像的吸引力。
-
实验结果显示，提出的方法在商业和公开数据集上均取得了最先进的性能。
-
在线实验验证了CAIG方法在提高生成广告图像CTR方面的有效性。
延伸解读
广告图像生成的挑战
在电商广告中，图像的吸引力直接影响用户的点击率（CTR）。传统方法往往只关注图像的美学，而忽视了与商品特征的相关性。这种偏差可能导致用户体验不佳，因此在生成广告图像时，确保背景与商品的协调性显得尤为重要。
强化学习的应用
本文提出的奖励模型通过强化学习优化广告图像生成过程，能够更好地反映用户的点击偏好。这种方法不仅提升了CTR预测的准确性，还通过以商品为中心的偏好优化策略，确保生成的图像与商品特征一致，从而提高广告效果。
实验结果的意义
实验表明，提出的CAIG方法在多个数据集上均表现出色，超越了现有技术。这一结果不仅验证了新方法的有效性，也为电商广告图像生成提供了新的思路，强调了多模态特征融合的重要性。
延伸问答
京东零售广告创意的主要目标是什么？
主要目标是提高广告的点击率（CTR）。
该文提出的广告图像生成方法有什么创新之处？
提出了一种基于多模态大型语言模型的点击率驱动广告图像生成方法，结合了预训练和强化学习。
如何确保生成的广告图像与商品特征一致？
通过开发以商品为中心的偏好优化策略，确保生成的背景内容与商品特征一致。
实验结果显示该方法的性能如何？
实验结果表明，该方法在CTR预测和生成效果上优于现有技术，显著提升了广告效果。
该方法如何利用用户点击数据进行优化？
通过构建成对的训练样本，重新定义CTR预测任务为图像对之间的相对比较任务，利用用户点击数据进行训练。
强化学习在广告图像生成中起到什么作用？
强化学习用于微调生成模型，通过奖励模型指导优化过程，准确反映用户的点击偏好。
