风险的别名和无标签分解：超越偏差-方差权衡
内容提要
本文研究高维机器学习中的广义线性模型，探讨贝叶斯最优估计、模型性能评估及过拟合问题。提出新正则化方法Fishr，以提升模型的鲁棒性和泛化能力。研究表明，领域泛化算法在标签噪声下表现良好，但在真实数据集上未必优于经验风险最小化算法。
延伸解读
从偏差-方差到双下降：传统理论的局限
文章指出，传统U形偏差-方差权衡曲线无法解释现代机器学习中的“双下降”现象。通过统一性能曲线，作者协调了传统理解与现代实践，并推断其出现机制。这提示读者，经典偏差-方差分析在高维过参数化模型中可能失效，需关注模型性能与结构之间的新联系。
过拟合峰值与内插：泛化并非简单保证
MiSpaR模型表明，过拟合峰值不能将经典阶段与现代阶段分隔开，数据内插本身不能保证良好泛化。这意味着，即使模型完美拟合训练数据，也可能在新数据上表现不佳。读者应关注不同惩罚项下的内插状态，而非仅以是否内插作为泛化能力的判断标准。
领域泛化的标签噪声鲁棒性：合成与真实的差距
文章发现，领域泛化算法在标签噪声下具有隐含鲁棒性，在合成实验中能缓解虚假相关性并提升泛化性能。然而，在真实基准数据集上，这种鲁棒性并未优于经验风险最小化。作者推测，由虚假相关性引起的经验风险最小化失败模式在实践中可能不明显。这提醒读者，合成实验的积极结果需谨慎推广到真实场景。
Fishr正则化：梯度空间中的域内不变性
Fishr是一种新的正则化方法，通过在梯度空间中强制实施域内不变性，提高模型鲁棒性，尤其在分布不同的情况下增强泛化能力。广泛实验验证表明，Fishr比当前最先进的技术和经验风险最小化表现更好。这为处理分布偏移问题提供了一种有前景的正则化思路。
Q&A
什么是Fishr正则化方法，它的主要优势是什么？
Fishr正则化方法能够在梯度空间中强制实施域内不变性，显著提高模型的鲁棒性和在不同分布情况下的泛化能力。
领域泛化算法在标签噪声下的表现如何？
领域泛化算法在有限样本训练中具有隐含的标签噪声鲁棒性，但在真实数据集上未必优于经验风险最小化算法。
深度学习算法的偏差与方差之间有什么关系？
随着网络宽度的增加，深度学习算法的偏差单调下降，但方差表现出非单调行为，可以通过集成学习来减少方差的发散。
过拟合峰值如何影响经典与现代阶段的模型？
过拟合峰值不能将经典阶段与现代阶段分隔开，数据内插本身不能保证良好的泛化能力。
什么是过参数化机器学习，它的独特性是什么？
过参数化机器学习是一个新理论领域，强调其独特性和开放问题，特别是在统计信号处理的背景下。
如何构建分割测试统计量来检验无损变换？
通过描述无损变换，可以构建分割测试统计量，用于检验给定变换是否为无损，并证明该检验在独立同分布数据上是强一致的。
