使用多臂赌博机的数据清洗中的数据 Shapley 阈值化
内容提要
本文综述了Shapley值在机器学习中的应用，包括：提出公平感知多臂赌博算法以提升用户参与度；开发分布式数据Shapley（DShapley）识别有用或有害数据；评估医学影像训练数据价值；提出概率Shapley量化数据贡献；TS-DShapley降低计算成本并提升语言模型性能；Beta Shapley统一数据估值方法；Shapley Pruning保护神经网络；Active Data Shapley提高主动学习效率。
延伸解读
从公平多臂赌博到数据估值：Shapley 值的跨领域应用
文章开篇介绍了基于 Shapley 值的公平感知多臂赌博算法，用于资源分配中更公平地服务用户，并通过用户研究验证了其提升参与度的效果。这显示了 Shapley 值不仅用于数据估值，还能解决公平性问题。随后文章转向数据 Shapley 值在机器学习中的多种应用，包括识别有用或有害数据、评估医学影像数据价值等，体现了 Shapley 值作为博弈论概念在 AI 中的广泛适用性。
数据 Shapley 值的计算效率演进：从 DShapley 到 TS-DSha
文章梳理了数据 Shapley 值计算方法的演进：DShapley 提供了快速估计算法，并导出了线性回归等模型的分析表达式；TS-DShapley 通过高效采样和数据价值传递，大幅降低计算成本，适用于大型预训练语言模型；此外，还有方法利用机器学习问题的结构性质，提高近似速度最高达 9.9 倍。这些进展表明，数据 Shapley 值正从理论走向实用，尤其在大模型时代更具意义。
数据估值方法的统一与泛化：Beta Shapley 的角色
文章提到 Beta Shapley 是 Data Shapley 的实质性泛化，可作为多种流行数据估值方法的统一形式，并具有理想的统计性质。这意味着数据估值领域正朝着理论统一的方向发展，有助于研究者比较不同方法，并基于统一框架开发新算法。Beta Shapley 的出现可能推动数据估值在模型性能估计等任务中的标准化应用。
Shapley 值在模型鲁棒性与主动学习中的实践
文章还介绍了 Shapley 值在模型鲁棒性和主动学习中的应用：Shapley Pruning 利用 Shapley 值识别受攻击感染的神经元并修剪，保护神经网络在数据不充足情况下的结构和精度；Active Data Shapley 则通过线性时间计算从未标注数据中预选高价值点，提高主动学习效率。这些案例表明，Shapley 值不仅能评估数据价值，还能直接用于改进模型训练和防御攻击。
Q&A
什么是数据Shapley值？它有什么作用？
数据Shapley值是将Shapley值等博弈理论概念开发到机器学习的统计框架，可以应用于识别对学习算法有用或有害的数据点。
DShapley是什么？它有哪些应用？
DShapley是分布式数据Shapley值，通过导出线性回归、二元分类和非参数密度估计的DShapley分析表达式，提供快速估计算法，用于识别有用或有害的数据点。
如何评估医学影像训练数据的价值？
可以使用数据Shapley方法评估训练数据对大型胸部X射线数据集中肺炎检测算法性能的价值，高Shapley值的训练数据对肺炎检测很重要，该方法可作为去除医学影像数据中噪音的框架。
TS-DShapley如何降低计算成本？
TS-DShapley通过一种高效的基于采样的方法和一种数据价值信息的传递方法，大大减少了Shapley基于数据评估的计算成本，可以对大型预训练语言模型进行微调，并在基准自然语言理解数据集上提升语言模型的性能。
Beta Shapley是什么？它有什么特点？
Beta Shapley是Data Shapley的实质性泛化，可作为数种流行的数据估值方法的统一形式，具有理想的统计性质，可用于估计与机器学习相关的模型性能。
Shapley Pruning如何保护神经网络？
Shapley Pruning利用Shapley值识别受攻击感染的神经元并修剪掉尽可能多的神经元，保护神经网络在数据不充足情况下（每类别只有1张图片甚至没有数据）的结构和精度，证明了该方法对抗不同攻击和任务的有效性和鲁棒性。
