深度学习中信息瓶颈的更严格界限
原文中文,约600字,阅读约需2分钟。发表于: 。使用变分近似方法为信息瓶颈提供新的、更紧的下界,从而提高先前基于信息瓶颈的深度神经网络的性能,并显著增强分类深度神经网络的对抗鲁棒性。
研究者通过信息论提出了一个统一原则,重新演绎和推广现有的变分方法,并设计了新方法。他们的框架基于多变量信息瓶颈的解释,通过两个贝叶斯网络权衡。他们重新演绎了现有的降维方法,并推导出了新的变分降维方法。他们实现了这些算法,并在噪声MNIST数据集上评估了它们的能力。他们展示了与数据结构更匹配的算法如何产生更好的潜空间。他们相信这个框架可以用来统一其他多视图表示学习算法,并提供了一个直观的框架来推导问题特定的损失函数。