超越原型:用于更好表示学习的语义锚正则化

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了一种名为“Anchor & Transform (ANT)”的高效嵌入算法,可处理大容量的离散对象嵌入。通过学习少量的锚点和稀疏的转换矩阵,将对象嵌入成为锚点的稀疏线性组合。ANT算法可扩展、灵活且可端到端训练,被解释为一种贝叶斯非参数先验,旨在促进稀疏性并利用对象间的自然分组关系。在多个基准测试中,ANT特别适用于大词汇量,相较于现有压缩基线提供了更强的性能表现(高达40倍压缩的低参数)。

🏷️

标签

➡️

继续阅读