CHG Shapley: 高效的数据评估与选择，迈向可靠的机器学习
内容提要
本文提出了一种高效的近似数据 Shapley 值方法，能够在不同学习设置中提高计算速度，最高可达 9.9 倍。研究表明，该方法在评估数据价值时优于其他方法，有效提升预测器性能。此外，文中探讨了基于概率分类器的 Shapley 值和分布式数据 Shapley 值的应用，提供了新的算法和理论支持。
延伸解读
数据估值效率的突破
文章提出的高效近似数据 Shapley 值方法，在随机梯度下降及凸、非凸损失函数等不同学习设置中，均证明了近似准确性收敛性。实验显示，该方法在保持数据近似价值和排名的同时，将近似速度最高提升 9.9 倍，尤其在使用小子集对预训练网络进行精确评估时效率更高。这为数据估值在实际大规模机器学习任务中的落地提供了速度保障。
Data Shapley 的适用边界
文章通过假设检验框架指出，若不对效用函数施加特定约束，Data Shapley 的性能可能不会优于随机选择。研究确定了一类单调转换模块化函数，在此类效用函数下 Data Shapley 能最优地选择数据，并据此提出启发式方法预测其在数据选择任务中的有效性。这提醒读者，Data Shapley 并非万能，其成功依赖于效用函数的性质。
面向概率分类器的 P-Shapley
针对概率分类器，文章提出概率 Shapley 值（P-Shapley），通过构建基于类概率的效用函数来量化每个数据点的边际贡献，并提供多种置信度校准的激活函数。这一扩展使数据重要性评估能直接服务于构建高可用性和可信赖的机器学习模型，弥补了传统 Shapley 值在概率输出场景下的不足。
分布式与群论扩展
文章还探讨了分布式数据 Shapley 值（DShapley），将其发展为机器学习的统计框架，并导出线性回归、二元分类和非参数密度估计的首批分析表达式，提供快速估计算法。此外，通过群论定义偏序 Shapley 价值，提出三种近似算法以加速计算。这些工作拓展了 Shapley 值在分布式和结构化数据合作中的应用。
Q&A
什么是近似数据 Shapley 值方法？
近似数据 Shapley 值方法是一种高效的算法，用于在不同学习设置中评估数据的价值，计算速度最高可达 9.9 倍。
该方法如何提升预测器的性能？
该方法通过更准确地评估数据价值，优于其他流行评估方法，从而有效提升预测器的性能。
什么是概率 Shapley 值（P-Shapley）？
概率 Shapley 值（P-Shapley）量化每个数据点对概率分类器的边际贡献，帮助评估数据的重要性。
TS-DShapley 算法的主要优势是什么？
TS-DShapley 算法通过高效的基于采样的方法显著减少了 Shapley 基于数据评估的计算成本。
分布式数据 Shapley 值（DShapley）有什么应用？
DShapley 可用于识别对学习算法有用或有害的数据点，并提供快速估计的新算法。
如何评估训练数据对肺炎检测算法的价值？
使用数据 Shapley 方法评估训练数据，发现高 Shapley 值的训练数据对肺炎检测算法性能至关重要。
