从预训练变换模型中提取句子嵌入
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了当前句子嵌入提取方法的不充分性，提出了多种改进的表示提取技术，尝试优化BERT的句子表示。研究显示，通过简单的基线方法及其表示塑造技术，能够在语义文本相似性和短文本聚类任务中显著提升性能，甚至超过复杂的BERT模型。
本文介绍了Sentence-BERT (SBERT)，它是预训练BERT网络的修改版，利用孪生和三元组网络结构来推导语义上有意义的句子嵌入，可以使用余弦相似性进行比较，将BERT / RoBERTa的寻找最相似组合的时间从65小时降至大约5秒钟，并保持来自BERT的精度。在共同的STS任务和转移学习任务中，我们评价SBERT和SRoBERTa，该方法优于其他最先进的句子嵌入方法。
