具备 Wasserstein 距离感知的随机视觉转换器
原文中文,约300字,阅读约需1分钟。发表于: 。使用随机视觉变换器和 Wasserstein 距离引入不确定性和距离意识到自监督学习中,其通过在潜在表示中集成分布嵌入和基于分布的注意力矩阵,以及应用 Wasserstein 距离的正则化项,实现在多个数据集和任务上超越自监督基准的高准确度和校准性。
该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉Transformer,在医学领域的各种任务中表现出较好的性能和隐私保护能力。
使用随机视觉变换器和 Wasserstein 距离引入不确定性和距离意识到自监督学习中,其通过在潜在表示中集成分布嵌入和基于分布的注意力矩阵,以及应用 Wasserstein 距离的正则化项,实现在多个数据集和任务上超越自监督基准的高准确度和校准性。
该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉Transformer,在医学领域的各种任务中表现出较好的性能和隐私保护能力。