降低集中度改善句子 BERT 语义空间

通过使用 Sentence-BERT 创建的嵌入表征语义空间的结构,我们发现其中普遍存在的高维度问题,即 hubness 会导致不对称的邻居关系,而减小 hubness 可以提供更好的文本语义表征。

通过增加训练和测试数据,使用更有区分性的损失函数,提高文本无关说话人识别系统的准确性。实验结果表明,重复和随机时间翻转可以降低预测误差18%,较低维度嵌入更适合验证,使用逻辑边距损失函数导致最先进的标识和验证准确性的统一嵌入。

原文中文,约200字,阅读约需1分钟。发表于:
阅读原文