EcoVal: 一种高效的机器学习数据估值框架
内容提要
本文综述数据估值方法，重点介绍基于Shapley值的数据价值评估。研究提出高效近似算法，速度提升最高9.9倍；发展分布Shapley、Beta Shapley、概率Shapley及DU-Shapley等框架，以解决传统方法局限。同时提出OpenDataVal基准和强化学习元学习框架，可检测低质量数据，提升模型性能与可信度。
延伸解读
数据估值为何需要高效近似
传统数据 Shapley 值计算成本极高，难以应用于大规模数据。文章指出，通过利用机器学习问题的结构性质，可以更高效地近似数据 Shapley 值，并在随机梯度下降及凸、非凸损失函数中证明了收敛性。实验显示，该方法在保持数据价值和排名近似的同时，速度提升最高可达 9.9 倍，对预训练网络的小子集精确评估也更高效。
从 Data Shapley 到多种扩展框架
为克服传统数据 Shapley 的局限，文章介绍了多个扩展框架：分布 Shapley 基于潜在数据分布定义价值，运行速度比最先进算法快两个数量级；Beta Shapley 作为统一形式，具有理想统计性质；概率 Shapley 通过类概率效用函数量化边际贡献；DU-Shapley 基于离散均匀分布近似，在基准测试中优于其他估算方法。这些框架针对不同场景提供了更灵活的数据估值方案。
OpenDataVal 与元学习框架的实践意义
OpenDataVal 是一个统一基准框架，支持多种数据估价算法的应用和比较，并定义了四个下游任务来评估数据价值质量，有助于量化和比较不同方法的有效性。基于强化学习的元学习框架能同时学习数据价值和目标任务预测模型，在检测错误样本、领域自适应和稳健学习等方面表现更优，提升了数据价值估计精度。
数据估值的应用与可信度提升
数据估值不仅用于评估数据价值，还可检测低质量数据，从而提升模型性能与可信度。文章提到，通过 Wasserstein 距离和敏感性分析，可以在不确定学习算法的情况下估值数据，并显著提高性能。此外，2D-Shapley 支持选择有用数据片段、提供逐样本解释和精细诊断，为数据市场和数据共享提供了实用工具。
Q&A
数据估值中常用的Shapley值方法是什么？
数据Shapley值是一种基于合作博弈论的方法，通过估算每个数据点对模型预测的边际贡献来评估数据价值，在监督学习中用于解决数据价值评估的困难。
EcoVal框架如何提高数据Shapley值的计算效率？
EcoVal利用机器学习问题的结构性质，提出了一种更高效的近似数据Shapley值的方法，在随机梯度下降和凸、非凸损失函数中证明了收敛性，实验表明在保持近似价值和排名的同时，速度提升最高可达9.9倍。
分布Shapley与传统的Data Shapley有何不同？
分布Shapley是一个新的统计框架，定义了基于潜在数据分布的点的价值，解决了数据Shapley框架的限制，其算法运行速度比计算非分布式数据Shapley值的最先进算法快两个数量级，并适用于数据市场环境。
OpenDataVal是什么？它有什么作用？
OpenDataVal是一个易于使用的统一基准框架，支持多种数据估价算法的应用和比较，并提出了四个下游机器学习任务来评估数据价值的质量，用于量化和比较最先进的数据估价方法的有效性。
基于强化学习的元学习框架在数据估值中有什么优势？
该框架可以同时学习数据价值和目标任务预测模型，能够在不同类型的数据集和应用场景中显著提高数据价值估计精度，并在检测错误样本、领域自适应和稳健学习等方面比现有方法表现更出色。
Beta Shapley和概率Shapley分别解决了什么问题？
Beta Shapley是Data Shapley的实质性泛化，可作为多种流行数据估值方法的统一形式，具有理想的统计性质，用于估计与机器学习相关的模型性能。概率Shapley通过构建基于概率分类器的类概率效用函数来量化每个数据点对概率分类器的边际贡献，并提供置信度校准的激活函数，以评估数据重要性，构建高可用性和可信赖的ML模型。
