基于被删失观察数据的离线决策学习与ε-不敏感操作成本
内容提要
本文研究了非策略性评估和优化在连续行动空间中的应用，提出了双重稳健非策略性估计模型，并证明其在个性化定价和资源分配中的有效性。同时，探讨了离线强化学习的统计限制和决策制定的统一框架，提出多种算法以提高学习性能和应对数据损坏问题，展示了鲁棒序列建模在实际任务中的潜力。
延伸解读
离线决策研究的演进脉络
文章按时间顺序梳理了2019年至2024年离线决策领域的关键进展，从双重稳健估计、离线上下文强化学习，到方差感知悲观值迭代、不变目标模型，再到广义偏好优化、DMOF框架和鲁棒决策Transformer。这一脉络显示，研究重心从单一评估方法逐步转向统一理论框架与鲁棒性提升，反映了该领域从理论探索到实际应用的深化过程。
理论工具与实际问题之间的桥梁
文章不仅提出多种算法，还强调其在个性化定价、资源分配、推荐系统和排名等场景的应用价值。例如，双重稳健估计模型对策略函数或回归模型的估计误差具有稳健性，而DMOF框架为离线强化学习、离策略评估等问题提供了统一视角。这些工作表明，离线决策研究正致力于将统计学习理论转化为可落地的决策工具。
数据损坏下的鲁棒性挑战
文章指出，现实世界数据常包含噪声和错误，传统基于时序差分学习的离线强化学习方法在数据损坏时表现不佳，尤其在数据量有限的情况下。为此，鲁棒决策Transformer结合高斯加权学习、迭代数据校正和嵌入丢弃等技术，在多个任务中展现出优于先前方法的性能。这提示读者，离线强化学习在实际部署中需重点关注数据质量与鲁棒性设计。
Q&A
什么是双重稳健非策略性估计模型？
双重稳健非策略性估计模型是一种用于个性化定价和资源分配的模型，具有对策略函数估计误差和回归模型估计误差的稳健性。
离线强化学习中如何提高计算效率？
通过应用随机梯度下降的方法，可以提高离线强化学习的计算效率，同时保持良好的泛化能力。
不变目标模型解决了什么问题？
不变目标模型用于解决分布偏移问题，实现学习性能和分布偏移之间的自然权衡。
广义偏好优化（GPO）有什么特点？
广义偏好优化（GPO）通过一类凸函数参数化的离线损失函数家族实现对偏好优化的统一视角，并揭示了离线算法如何通过定义损失的凸函数来实现正则化。
EDD算法在离线决策中有什么优势？
EDD算法在特定设置下实现了快速收敛速度，尤其是在监督学习和具有部分覆盖的马尔可夫序列问题中表现出色。
鲁棒决策Transformer（RDT）如何应对数据损坏？
鲁棒决策Transformer（RDT）结合高斯加权学习和迭代数据校正，能够减小数据损坏的影响，并在多种任务中展现出优越性能。
