一种实用的政策学习方法来考虑用户在重复拍卖中的疲劳
内容提要
本文探讨了实时竞价广告中的投标策略优化，利用强化学习算法动态分配预算，学习最优出价策略以提升广告业绩。研究分析了买方定价、卖方算法及其对关键绩效指标的影响，并提出了优化竞价策略的通用方法，实验验证了新算法的有效性。
延伸解读
从离线到在线：强化学习竞价策略的落地路径
文章指出，离线强化学习可直接从真实数据中学习，优化生产环境中的竞价策略。其通用方法能优化任何可微分的基础策略，且仅需基础策略自身生成的数据。混合代理架构将基础策略与深度神经网络结合，训练后仅部署优化后的基础策略参数，丢弃神经网络部分。这避免了额外的基础设施、安全或可解释性成本，因为直接优化现有流程参数，而非替换为黑箱模型。
策略性遗憾与卖方算法：买方定价的长期影响
研究分析了在线广告中的买方定价、多次交互和卖方算法，包括买方价值分布推断、策略性遗憾和卖方长期收入最大化。文章定义了策略性遗憾的自然概念，并证明任何卖方算法在没有贴现时都将遭受线性策略性遗憾。这提示买方需关注贴现能力，而卖方算法设计需考虑长期收入与策略性遗憾的平衡。
SuccessProbaMax：优化成功概率而非期望值
在用户时间线级别，文章通过操纵完整策略而非竞标值来将策略最优分配给用户，引入SuccessProbaMax算法优化成功概率。实验证明，该算法在成功率方面优于传统预期值最大化算法。这表明在电子商务广告中，提升竞标和赢得展示的能力，不仅依赖期望值最大化，成功概率的优化同样关键。
在线学习在复杂拍卖中的收敛优势
针对复杂拍卖场景，文章提出一种在线学习方法，利用投标方效用结构和部分反馈，为拍卖算法提供对最佳固定竞标的遗憾率。该方法对行动空间的依赖程度比通用贝叶斯智能带宽算法快指数级收敛，同时几乎等同于完全信息环境下的收敛。这为竞标者提供了更高效的策略学习途径，尤其在反馈不完整时。
Q&A
如何利用强化学习优化实时竞价广告的投标策略？
通过动态分配预算和学习最优出价策略，强化学习算法可以提升广告业绩。
SuccessProbaMax算法的优势是什么？
SuccessProbaMax算法在成功率方面优于传统的预期值最大化算法。
在复杂拍卖场景中，如何快速收敛于最佳竞标策略？
通过在线学习方法，利用投标方的效用结构和部分反馈，可以快速收敛于最佳固定竞标策略。
本文提出的通用方法如何优化竞价策略？
该方法结合基础策略与深度神经网络，通过离线强化学习从真实数据中学习，优化投标策略的性能。
买方定价和卖方算法对广告绩效的影响是什么？
买方定价和卖方算法会影响关键绩效指标，如广告槽位置和竞争广告商数量。
如何评估基于强化学习的投标策略的性能？
通过定量评估iPinYou数据集上的几种代表性投标策略，可以总结出强化学习算法的优化效果。
