【前瞻技术布局】京东零售广告创意：引入场域目标的创意图片生成
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提升点击率（CTR）。通过预训练和强化学习，生成与商品特征相符且吸引用户的广告图像。实验结果表明，该方法在CTR预测和生成效果上优于现有技术。
🎯
关键要点
- 本文提出了一种基于多模态大型语言模型的广告图像生成方法，旨在提升点击率（CTR）。
- 通过预训练和强化学习，生成与商品特征相符且吸引用户的广告图像。
- 实验结果表明，该方法在CTR预测和生成效果上优于现有技术。
- 现有广告图像生成方法主要关注美学质量，未能充分考虑与点击率的关系。
- 提出了一种奖励模型，通过强化学习微调生成模型，以准确反映用户点击偏好。
- 强调广告图像生成中背景与商品之间的相关性，避免视觉不协调。
- 在大规模多模态电商数据集上预训练多模态大语言模型，为广告图像生成奠定基础。
- 构建了图像理解、多模态内容理解和提示词生成的预训练任务。
- 将CTR预测任务重新定义为图像对之间的相对比较任务，以减轻不同商品类别之间的影响。
- 引入以商品为中心的偏好优化策略，确保生成的背景与商品特征一致。
- 通过在线实验验证了CAIG方法在提高广告图像CTR方面的有效性。
- 与现有模型相比，提出的方法在商业和公开数据集上均取得了最先进的性能。
❓
延伸问答
京东提出的广告图像生成方法有什么创新之处？
京东提出了一种基于多模态大型语言模型的广告图像生成方法，重点优化点击率（CTR），并通过强化学习微调生成模型以更好地反映用户点击偏好。
该方法如何提高广告图像的点击率？
该方法通过构建奖励模型和以商品为中心的偏好优化策略，确保生成的广告图像背景与商品特征一致，从而提升点击率。
实验结果显示该方法的效果如何？
实验结果表明，该方法在CTR预测和生成效果上优于现有技术，在线和离线指标均达到了最先进的性能。
现有广告图像生成方法存在哪些局限性？
现有方法主要关注美学质量，未能充分考虑与点击率的关系，导致生成的广告图像与用户偏好存在显著差异。
如何定义CTR预测任务？
CTR预测任务被重新定义为图像对之间的相对比较任务，以减轻不同商品类别之间的影响。
该方法在多模态电商数据集上是如何预训练的？
该方法在大规模多模态电商数据集上进行预训练，构建了图像理解、多模态内容理解和提示词生成的预训练任务。
➡️
