本研究提出了一种蒸馏规模法则，以解决大规模蒸馏模型的性能估计问题。合理的资源分配显著提升了学生模型的性能，并提供了优化蒸馏的方案，促进了实验设计与蒸馏过程的理解。

本文探讨了多种交叉验证方法在机器学习中的应用，特别是在心血管疾病分类任务中的评估。研究发现，留源交叉验证提供了更可靠的性能估计，而新提出的 J-K 折交叉验证方法在自然语言处理任务中表现出更少的变异性。此外，嵌套交叉验证在统计效力和置信度方面优于其他方法，适合小数据集使用。

该文综述分布偏移下机器学习模型的性能估计与适应问题，主要内容包括：提出基于领域不变性的预测模型以准确估计目标误差，用于模型选择与早期停机；提出全测试时间适应方法，利用替代熵与批次熵最大化正则化提升鲁棒性；给出基于表示学习与样本重加权的误差界；利用无标签测试数据推导误差上界并提出不一致损失；提出GradNorm梯度空间异常检测与基于梯度的不确定性度量；引入距离检查改进性能估计；通过分布鲁棒优化一次训练获得对多种标签偏移稳健的分类器；基于保形推断建立鲁棒预测集；并提出轻量级事后方法，通过验证集约束优化实现分布鲁棒分类。