从预训练变换模型中提取句子嵌入
内容提要
本文介绍了多种基于BERT的句子嵌入方法，如SBERT、SBERT-WK和BERT-flow，展示了它们在语义文本相似度任务中的优越性能。研究表明，ALBERT在某些任务上优于BERT，而T5模型在句子嵌入方面也取得了进展。此外，提出的对比学习框架有效利用了未标注文本的编码。
延伸解读
句子嵌入方法的演进脉络
从2017年的无监督加权词向量方法，到2019年的SBERT，再到2020年的SBERT-WK和BERT-flow，句子嵌入技术不断演进。SBERT通过孪生网络将相似性计算时间从65小时降至5秒，BERT-flow则通过分布变换提升性能。这些方法逐步解决了BERT在句子级任务上的效率与效果问题，为后续研究奠定了基础。
模型选择与性能差异
文章指出，ALBERT在STS和NLI任务上优于BERT，而T5模型在句子嵌入方面也表现出色，甚至超过了SBERT和SimCSE。此外，不同家族的语言模型（仅编码器、仅解码器、编码解码器）在性能和层次动态上存在显著差异，但结果大多与模型大小无关。这提示研究者在选择模型时需考虑家族特性，而非单纯追求参数量。
多语言与文档级表示的策略
对于多语言任务，使用句子嵌入的组合通常优于将整个文档编码为单个单元。简单的句子平均值对分类任务有效，但语义任务需要更复杂的组合。这一发现为文档级表示提供了实用指导：在资源有限时，可优先考虑句子嵌入的组合方法，而非直接编码长文档。
对比学习与未标注数据的利用
基于伪符号Bert的对比学习框架，通过构建同长度正负样本对，有效利用了未标注文本的编码，在六个STS任务中优于现有基准。这表明对比学习能消除句子长度和语法等表征的影响，为无监督句子表示学习提供了新思路，尤其适用于标注数据稀缺的场景。
Q&A
什么是Sentence-BERT (SBERT)？
Sentence-BERT (SBERT) 是对预训练BERT网络的修改版，利用孪生和三元组网络结构推导句子嵌入，显著提高了相似性计算的效率。
ALBERT在句子嵌入任务中表现如何？
ALBERT在STS和NLI数据集任务中表现优于BERT。
BERT-flow方法的主要优势是什么？
BERT-flow方法通过将BERT句子嵌入分布转变为高斯分布，显著提升了在语义文本相似度任务中的表现。
T5模型在句子嵌入方面的贡献是什么？
T5模型在句子嵌入方面建立了新的基准SentGLUE，并在语义文本相似性任务中超过了SBERT和SimCSE。
SBERT-WK与其他句子嵌入方法相比有什么优势？
SBERT-WK通过几何分析研究深度上下文模型的词表示，实验结果显示其在语义文本相似度任务中表现优异。
如何利用未标注文本进行句子嵌入？
可以通过基于伪符号Bert的对比学习框架有效利用未标注文本的编码，消除句子长度和语法等表征的影响。
