语句嵌入简单入门教程
内容提要
句子嵌入是句子的向量表示，可以通过池化方法计算。池化是一种常用方法，通过BERT模型的[CLS]标记嵌入来表示整个句子。句子嵌入可用于文本分类和相似度计算等任务。使用句子转换器库可以获得更高质量的嵌入。选择合适的模型可根据任务需求和性能指标评估。嵌入的生态系统包括工具、数据库和相关研究。
延伸解读
池化方法的选择与效果
文章介绍了三种池化方法：均值池、最大池和[CLS]池。其中[CLS]池化直接取BERT的[CLS]标记嵌入，但原始[CLS]嵌入并非为句子相似度训练，因此效果不佳。改用BERT的pooler_output（经过线性层和tanh处理）后，相似度计算更合理。而句子转换器（SBERT）通常采用均值或最大池化，并配合归一化，能获得更高质量的句子嵌入。选择池化方法需结合模型训练方式。
模型选择的关键维度
选择句子嵌入模型时，需考虑序列长度、语言、嵌入维度和任务指标。长文档可选用大序列长度模型或拆分为句子分别编码；多语言任务需选择支持相应语言的模型；嵌入维度越大信息越丰富，但计算和存储成本更高。MTEB排行榜提供跨任务基准，可查看平均指标或特定任务指标，并结合速度与精度权衡。文章提醒不要过度关注单一数字，应结合具体资源和任务需求。
嵌入生态与实用工具
句子嵌入的生态系统包括构建在嵌入之上的工具（如top2vec、bertopic用于主题建模，keybert用于关键词提取，setfit用于少样本分类）、嵌入数据库（如Weaviate、Pinecone、Chroma等，专门加速相似性搜索）以及活跃的研究（如MTEB基准定期更新）。这些工具和数据库降低了应用门槛，但选择时需注意其与任务和模型的兼容性。
Q&A
句子嵌入是什么？它有哪些常见的计算方法？
句子嵌入是句子的向量表示，类似于单词嵌入。常见的计算方法包括池化：使用BERT模型的[CLS]标记嵌入、最大池法（取词嵌入每个维度的最大值）和均值池法（平均所有单词嵌入）。
为什么直接使用BERT的[CLS]标记嵌入作为句子嵌入效果不好？如何改进？
因为BERT中的[CLS]标记在预训练时用于预测两个句子是否连续，并非专门训练成好的句子嵌入。改进方法是使用BERT的池器组件（pooler_output），即对[CLS]嵌入应用线性层和tanh激活函数，这样得到的嵌入更有意义，在相似度计算中表现更好。
Sentence Transformers（SBERT）与普通BERT在生成句子嵌入时有什么不同？
SBERT采用特殊的训练技术专注于产生高质量的句子嵌入。与普通BERT使用[CLS]池化不同，SBERT通常使用均值或最大池化，并对嵌入进行归一化以确保单位长度。使用sentence-transformers库可以方便地获得高质量嵌入。
余弦相似度是如何衡量两个句子嵌入的相似程度的？
余弦相似度计算两个向量夹角的余弦值，范围在0到1之间。值越接近1表示两个嵌入越相似，0表示完全不同。它比较的是向量的方向而非大小，因此对向量进行归一化后，每个向量对相似性的贡献相同。
选择句子嵌入模型时应该考虑哪些因素？
应考虑序列长度（根据输入文本长度选择）、语言（支持的目标语言）、嵌入维度（维度越大捕获信息越多但计算存储成本更高）、跨任务平均指标和特定任务指标。可以参考MTEB排行榜，它提供了跨8个任务56个数据集的基准，帮助权衡速度与精度。
句子嵌入有哪些常见的应用场景？
句子嵌入可用于文本分类（训练逻辑回归分类器）、聚类（如k-means分组相似句子）、相似性检测（判断句子对是否相似）、重新排名（根据与查询的相似性重排文本列表）、检索（查找与查询最相似的文档）、语义相似度计算、摘要评估以及跨语言文本挖掘等。
围绕句子嵌入的生态系统包括哪些部分？
生态系统包括：1）构建在嵌入之上的工具，如top2vec、bertopic用于主题建模，keybert用于关键词提取，setfit用于少样本微调；2）嵌入数据库，如Weaviate、Pinecone、Chroma等专门加速相似性搜索，传统数据库如Cassandra、MongoDB也集成了向量索引；3）相关研究，如MTEB基准的持续更新和各大机构（微软、Cohere、BAAI等）的参与。
