数据多样性如何影响神经网络的权重景观?
发表于: 。本研究针对机器学习模型泛化能力不足的问题,探讨了正则化方法和数据增强对神经网络参数空间的影响。通过运用随机矩阵理论分析经过不同数据多样性处理的预训练模型的特征值分布,发现多样化的数据与 dropout 在权重景观上有相似的影响,且合成数据可以显著提高模型在未见测试数据上的性能。
本研究针对机器学习模型泛化能力不足的问题,探讨了正则化方法和数据增强对神经网络参数空间的影响。通过运用随机矩阵理论分析经过不同数据多样性处理的预训练模型的特征值分布,发现多样化的数据与 dropout 在权重景观上有相似的影响,且合成数据可以显著提高模型在未见测试数据上的性能。