该文介绍了一种解决高风险应用中机器学习预测模型失败概率问题的风险评估任务。通过使用符合预测方法，该方法提供了一定概率内包含真实标签的预测区间，证明了所提方法的近似失败概率是保守的。作者进行了大量实验证明了所提方法的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

该文介绍了一种解决机器学习算法在高风险应用中预测模型失败概率问题的风险评估任务。通过使用符合预测方法，提供了一定概率内包含真实标签的预测区间，证明了该方法的近似失败概率是保守的。实验证明了该方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。