条件高斯向量的熵界及其在神经网络中的应用
📝
内容提要
本研究解决了条件高斯分布与具有可逆协方差矩阵的高斯分布之间总变差和2-Wasserstein距离的界限问题。通过利用信息论中的熵不等式,提出了新的界限并应用于随机初始化的全连接神经网络,指出在高斯初始化且内部层大小趋向无穷大的情况下收敛至高斯的速率,显著改进了现有研究的结果。
➡️
本研究解决了条件高斯分布与具有可逆协方差矩阵的高斯分布之间总变差和2-Wasserstein距离的界限问题。通过利用信息论中的熵不等式,提出了新的界限并应用于随机初始化的全连接神经网络,指出在高斯初始化且内部层大小趋向无穷大的情况下收敛至高斯的速率,显著改进了现有研究的结果。