【前瞻技术布局】京东零售广告创意：引入场域目标的创意图片生成
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提高点击率（CTR）。通过预训练和强化学习，模型生成与商品特征一致且吸引用户的广告图像。实验结果表明，该方法在CTR预测和生成效果上优于现有技术，显著提升了广告效果。
🎯
关键要点
- 本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提高点击率（CTR）。
- 现有方法主要关注美学质量，未能有效提升在线表现。
- 通过预训练和强化学习，模型生成与商品特征一致且吸引用户的广告图像。
- 提出了一种新颖的奖励模型，通过强化学习微调生成模型，准确反映用户点击偏好。
- 开发了以商品为中心的偏好优化策略，确保生成的背景内容与商品特征一致。
- 大量实验表明，该方法在CTR预测和生成效果上优于现有技术，显著提升了广告效果。
- 背景与商品之间的相关性在广告图像生成中至关重要。
- 提出的点击率驱动广告图像生成（CAIG）方法能够生成引人注目的广告图像。
- 在大规模多模态电商数据集上进行预训练，为模型注入电商领域知识。
- 通过构建成对的训练样本，重新定义CTR预测任务为图像对之间的相对比较任务。
- 引入直接偏好优化（DPO）和以商品为中心的偏好优化（PCPO）来提升生成图像的吸引力。
- 实验结果显示，提出的方法在商业和公开数据集上均取得了最先进的性能。
- 在线实验验证了CAIG方法在提高生成广告图像CTR方面的有效性。
❓
延伸问答
京东零售广告创意的主要目标是什么？
主要目标是提高广告的点击率（CTR）。
该文提出的广告图像生成方法有什么创新之处？
提出了一种基于多模态大型语言模型的点击率驱动广告图像生成方法，结合了预训练和强化学习。
如何确保生成的广告图像与商品特征一致？
通过开发以商品为中心的偏好优化策略，确保生成的背景内容与商品特征一致。
实验结果显示该方法的性能如何？
实验结果表明，该方法在CTR预测和生成效果上优于现有技术，显著提升了广告效果。
该方法如何利用用户点击数据进行优化？
通过构建成对的训练样本，重新定义CTR预测任务为图像对之间的相对比较任务，利用用户点击数据进行训练。
强化学习在广告图像生成中起到什么作用？
强化学习用于微调生成模型，通过奖励模型指导优化过程，准确反映用户的点击偏好。
➡️
