高效勘探规则集模型的拉肖蒙集合
内容提要
本文研究了Rashomon集合，提出了高效的枚举和查询技术，并探讨其在可解释机器学习中的应用。研究表明，数据噪声和样本量显著影响模型解释的一致性，并提出了新的度量方法来评估预测多样性，从而帮助科学家和实践者更好地理解模型表现和选择。
延伸解读
Rashomon集合的实用价值
Rashomon集合指在给定损失阈值下所有表现相近的模型集合。本文首次提供了完整枚举稀疏决策树中Rashomon集合的技术，并支持高效查询和抽样。这意味着用户可以在精度相近的所有模型中无前提选择，例如研究变量重要性、平衡精度与F1得分，以及用完整数据集生成仅基于子集的Rashomon集合。这些应用展示了该技术在实际中的多功能性。
数据噪声与样本量的影响
文章指出，数据噪声和样本量显著影响模型解释的一致性。更嘈杂的数据集会导致较大的Rashomon比率，即更多模型表现相近，这解释了简单模型在复杂噪声数据上常与黑盒模型表现相当。同时，使用SHAP的研究发现，样本量少于128时解释变异性很高，限制可靠知识提取；随着样本量增加，不同模型间的解释趋于一致，集成方法通常具有更高一致性。
预测多样性与模型选择
Rashomon集合中的模型可能产生冲突预测，即预测多样性。文章通过dropout技术探索集合中的模型，提出衡量和减轻预测多样性的新框架，并证明其在预测多样性度量估计上优于基准。此外，平衡方法会增加预测多样性并产生不同结果，因此提出扩展性能增益图来监控性能和预测多样性之间的权衡，辅助模型选择。
泛化能力与Rashomon比率
文章证明，Rashomon比率的增加可以提高泛化能力：从分类器组的随机子集中选择具有最佳经验准确性的分类器，不会增加太多经验损失。对于无限分类器组，文章通过线性分类器和双层ReLU神经网络示例量化了Rashomon比率，并证明可以使用训练数据集和分类器组的随机样本来估计Rashomon比率，且估计值接近真实值。
Q&A
Rashomon集合是什么？
Rashomon集合是指在模型预测精度相近的情况下，存在多个不同的模型配置，这些模型在变量效果上存在差异。
Rashomon_DETECT算法的作用是什么？
Rashomon_DETECT算法用于识别Rashomon集合中的最不同模型，量化模型之间的变量效果差异。
数据噪声如何影响Rashomon比率？
数据噪声会导致较大的Rashomon比率，影响模型的解释一致性。
如何评估模型的预测多样性？
可以通过引入模式多样性度量来评估模型的预测多样性，该度量捕捉不同分类模式之间的平均预测差异。
样本量对模型解释的一致性有何影响？
随着样本量的增加，模型解释趋于一致，低样本量时的解释变异性较高。
如何利用dropout技术探索Rashomon集合？
通过dropout技术，可以有效探索Rashomon集合中的模型，并衡量和减轻预测多样性。
