文章借助热力学与推理的对应关系定义“有效维度”,该指标与PAC-Bayesian容量一致,远小于参数数量,随训练样本变化,并适用于随机森林、kNN等非参数模型。基于此研究双下降、模型选择、宽度-深度权衡及损失面多样性,发现有效维度优于基于范数或平坦度的度量。文章还提出TEDL量化分类不确定性,并揭示性能随模型大小和训练轮数呈“双峰下降”现象。
完成下面两步后,将自动完成登录并继续当前操作。