本文探讨了深度学习中的双下降现象，指出在带噪声数据训练的不完美模型中，模型复杂性增加时，泛化误差先升后降。研究表明，合理的正则化和超参数设置可以改善模型性能，避免双下降现象。

本文综述随机特征研究进展，分析其在神经网络中的泛化性能。研究表明，随机特征模型在训练和泛化误差上渐近等效于线性高斯模型，仅需少量特征即可达到最优学习速率，并有助于缓解双下降现象，为深度学习理论提供支撑。

文章借助热力学与推理的对应关系定义“有效维度”，该指标与PAC-Bayesian容量一致，远小于参数数量，随训练样本变化，并适用于随机森林、kNN等非参数模型。基于此研究双下降、模型选择、宽度-深度权衡及损失面多样性，发现有效维度优于基于范数或平坦度的度量。文章还提出TEDL量化分类不确定性，并揭示性能随模型大小和训练轮数呈“双峰下降”现象。

该文综述因子分解机与核机器研究：递归特征机呈现类似神经网络的双下降现象；Rank-Aware FM按不同秩嵌入建模成对交互；gFM实现在线学习与线性收敛；NFM结合FM线性与神经网络非线性；ConvRFM实现深层特征学习；RFNs无监督学习稀疏表示。