不确定性下公平多目标优化的端到端学习
内容提要
该文综述预测优化与多目标学习研究，涵盖SPO框架、端到端学习、公平排序、Pareto前沿及OOD鲁棒性等方法，建立统一评估基准，并提出工业组合广告新数据集，以推动学术与工业界改进。
延伸解读
端到端学习的适用边界
文章指出，端到端训练在不同场景下的改进情况存在差异，并特别分析了其表现不佳的背景。这意味着该方法并非在所有预测优化问题中都能带来提升，读者需关注其适用条件。同时，文章通过统一评估基准来阐明这些差异，为判断何时采用端到端学习提供了依据。
公平性与准确度的权衡机制
文章介绍了一种处理公平性的方法，通过建立随机多目标优化问题，得到一组准确且平衡的Pareto前沿，以此权衡准确度和公平性。这种方法旨在高效处理大量流数据，为需要同时考虑多个目标的场景提供了可操作的框架。
工业组合广告新数据集的价值
文章提出了一个用于工业组合式广告问题的新数据集，旨在帮助更方便地评估和部署相关方法。该数据集有望连接学术研究与工业实践，鼓励双方在公平多目标优化领域进一步改进。对于关注实际应用的读者，这一资源可能降低从理论到落地的门槛。
Q&A
端到端学习在预测优化中有什么作用？
端到端学习可以直接学习概率机器学习模型，以捕获最终基于任务的目标，从而在随机编程上下文中提高性能。
SPO框架是什么？它如何改进预测优化？
SPO框架是Smart Predict, then Optimize，它直接利用优化问题的结构（目标和约束）来设计更好的预测模型，显著提高预测-优化范例下的性能。
如何通过多目标优化实现公平排序？
通过将有效可解的公平排序模型整合到学习排序（LTR）模型的训练循环中，并利用OOW目标的约束优化进行反向传播，可以在公平性、用户效用和运行效率之间取得平衡。
PAIR方法如何提升模型对分布外数据的鲁棒性？
PAIR是一种多目标优化方案，通过优化其他OOD目标来改进OOD目标的鲁棒性，并通过达到Pareto最优解来平衡ERM和OOD目标的权衡关系，在WILDS基准上产生了最佳的OOD性能。
有哪些方法可以逼近Pareto前沿？
可以使用动态损失函数进行多目标训练神经网络来逼近Pareto前沿，无需预先指定权衡向量即可返回分布在不同权衡方案上的输出，尤其对非对称Pareto前沿有优势。
论文中提到的工业组合广告新数据集有什么用途？
该数据集用于工业组合式广告问题，帮助更方便的评估和部署，鼓励在学术界和工业界进一步的改进。
