自监督模型的表示学习动态
原文中文，约300字，阅读约需1分钟。发表于：。自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL 模型的精确（与网络宽度无关）学习动态，证明了无限宽度逼近的 SSL...
本文研究了自监督学习模型的学习动态，提出了施加权重正交性约束的目标函数，并证明了无限宽度逼近的自监督学习模型与监督模型的神经切向核逼近存在偏差。数值实验证明了理论发现的正确性，并为对比和非对比自监督学习提供了框架。
