非布尔函数的未知泛化中的最小度偏差
内容提要
本文研究了在球面上学习未知函数的方差损失问题，分析了神经切向核模型和随机特征模型的表现。通过大偏差理论，探讨了插值器的泛化能力及其与现代学习技术的关系。同时，研究了广义线性回归的渐近表现、局部插值方案的一致性，以及生成Transformer模型的泛化能力，并提出了改进方法。最后，讨论了半监督分类中的新框架和深度学习的广义化现象。
延伸解读
理论工具：大偏差与平滑性
文章利用大偏差理论刻画模型的平滑性，为插值器泛化能力提供统一解释。该框架表明，随机梯度下降、L2正则化、数据增强、不变性结构和过度参数化等技术，均通过不同途径使优化器偏向更平滑的插值器，从而获得更好的泛化误差。这揭示了现代学习技术背后可能共享的平滑性偏好机制。
双重下降与投影选择
在广义线性回归和分类中，复制法给出了超参数化与不充分参数化条件下渐近泛化表现的闭式表达式，并展示了逻辑回归的双重下降效应。研究还指出，在学习随机特征时，正交投影相比随机高斯投影具有优越性，并讨论了隐藏流形模型中数据相关性的作用。这些结果有助于理解模型复杂度与泛化之间的非单调关系。
Transformer的分布外泛化局限
生成Transformer在n位数加法等任务上表现出分布内泛化，但在更长、未见过的情况下分布外泛化失败。机制研究发现，强分布内泛化源于结构化表示，而分布外性能不佳时模型仍展现出明确的学习代数结构，将未见过的输入映射到具有分布内等价关系的输出。这表明模型携带可用于改进泛化的信息，但需解决基本机制才能保证解决方案的鲁棒性。
半监督分类与泛化研究新方向
文章提出一个半监督分类新框架，结合分布鲁棒优化与自我监督训练，提供了新的错误界限以及利用未标记样本缩小泛化差距的方法。此外，对深度学习的广义化现象、超参数化模型、非可识别性和归纳偏见的研究，为语言模型相关的泛化度量、可迁移性和归纳偏见指明了有前景的研究方向。
Q&A
非布尔函数的未知泛化研究了什么问题？
研究了在球面上进行方差损失下的未知函数学习问题。
文章中提到的神经切向核模型和随机特征模型有什么特点？
这两种模型在处理未知函数学习时表现出良好的泛化能力。
大偏差理论在本文中如何应用？
通过大偏差理论，阐述了插值器的泛化能力及其与现代学习技术的关系。
广义线性回归的渐近表现有什么重要发现？
展示了逻辑回归的双重下降效应，突显了正交投影的优越性。
生成Transformer模型的泛化能力如何？
其泛化能力尚未完全理解，且在某些情况下表现不佳。
半监督分类的新框架有什么创新之处？
结合分布鲁棒优化和自我监督训练，提供新的错误界限。
