GISTEmbed: 文本嵌入微调中的引导样本选择
内容提要
该文汇总了多项文本嵌入研究：GTE通过多阶段对比学习提升通用嵌入性能；PEG用逐步学习增强检索；NewsEmbed结合对比学习与多标签分类；GRIT让大模型兼顾生成与嵌入并在MTEB领先；另有方法利用软负样本、共引数据等改进语义相似度与科学文本分类。
延伸解读
多阶段对比学习：GTE 的核心思路
GTE 通过多阶段对比学习训练通用文本嵌入模型，在无监督预训练和有监督微调阶段均显著增加训练数据量，从而取得比现有嵌入模型更大的性能提升。这种方法强调数据规模和训练策略的结合，为通用文本嵌入提供了一种高效路径。
负样本策略的演进：从 PEG 到软负样本
PEG 通过增加负样本数量、提取难例负样本以及引入逐步学习机制，提升了检索真正正例的能力。后续研究进一步引入软负样本和双向边缘损失，以改善无监督对比学习中的特征抑制问题，并在语义文本相似度任务上取得最优结果。这些工作共同表明，负样本的选择与优化是提升嵌入质量的关键。
生成与嵌入的统一：GRIT 的启示
GRIT 技术让大型语言模型同时处理生成和嵌入任务，并在大规模文本嵌入基准（MTEB）上取得最佳结果，且在多个生成任务中超越同类模型。进一步扩展后，模型在保持最佳嵌入性能的同时，优于所有尝试过的公开生成性语言模型。这提示生成与嵌入任务并非互斥，统一训练可能带来双赢。
领域适应与数据构建：NewsEmbed 与科学文本分类
NewsEmbed 利用少量人为监督挖掘新鲜文档及其主题标签，通过交替对比学习和多标签分类训练通用文档编码器。针对科学子领域，有方法使用共引作为相似度度量，结合领域特定微调和专家混合，提升了科学文本分类指标。这些案例说明，针对特定领域设计数据构建和训练策略，能有效弥补通用方法的不足。
Q&A
GTE模型是如何训练的？它有什么优势？
GTE是一个通用文本嵌入模型，通过多阶段对比学习训练，在多个数据源的各种混合数据集上进行对比学习。其优势包括：显著增加训练数据量，在无监督预训练和有监督微调阶段取得比现有嵌入模型更大的性能提升；处理代码时无需额外细调每种编程语言，仅将代码视为文本就能超过类似大小的以前最佳代码检索器的性能。
PEG模型如何提升文本检索性能？
PEG是一种用于强化文本检索的逐步学习嵌入模型。它通过增加负样本数量、提取难例负样本以及引入逐步学习机制，在检索真正的正例方面超过了现有的嵌入模型，在大语言模型的应用中具有重要潜力。
NewsEmbed模型有什么特点？它是如何训练的？
NewsEmbed是一个多任务模型，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签。它交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。
GRIT技术是什么？它在大规模文本嵌入基准上的表现如何？
GRIT（生成性行为表示指导调整）技术训练了一个大型语言模型，通过区分生成和嵌入任务来同时处理两者。该模型在大规模文本嵌入基准（MTEB）上取得了最佳结果，并在多个生成性任务中超越同类模型。进一步扩展后，模型在仍属于最佳嵌入模型的同时，优于所有尝试过的公开生成性语言模型。此外，GRIT能够实现生成性或嵌入数据的训练，且无需性能损失。
如何改善无监督对比学习中的特征抑制问题？
通过引入软负样本和双向边缘损失来改善当前无监督对比学习中的特征抑制问题，在语义文本相似度任务上取得了最优结果。
在高度专业化的科学子领域中，如何改进文本分类和矢量表示？
针对高度专业化的科学子领域中传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用Transformer网络，显著推进了科学文本分类指标的发展，并有望增强矢量数据库的搜索和编译。
