在子群体转变情况下优化重要性加权
发表于: 。本研究解决了训练数据与测试数据之间的分布转变对机器学习模型性能的影响,指出现有的重要性加权方法对权重的确定存在次优问题,未考虑样本量对模型估计方差的影响。通过引入偏差-方差权衡的视角,提出了一种双层优化程序,实现权重与模型参数的同时优化,实验证明该方法在深度神经网络最后一层重训练中显著提高了泛化性能。
本研究解决了训练数据与测试数据之间的分布转变对机器学习模型性能的影响,指出现有的重要性加权方法对权重的确定存在次优问题,未考虑样本量对模型估计方差的影响。通过引入偏差-方差权衡的视角,提出了一种双层优化程序,实现权重与模型参数的同时优化,实验证明该方法在深度神经网络最后一层重训练中显著提高了泛化性能。