本研究提出了一种新的无监督对比学习框架TNCSE，解决了句子嵌入中仅考虑方向而忽视模长特征的问题。通过约束正样本的模长特征，优化了无监督学习，实验证明其在语义文本相似性任务中表现优异。

本研究评估RWKV语言模型在零样本条件下生成句子嵌入的效果，结果显示其在语义相似性任务中的表现不如GloVe基线，需进一步优化。

本研究提出了一种结合伪标记生成与模型集成的框架，以提升自然语言处理中的句子嵌入性能。实验结果表明，该方法在准确率和F1-score上显著优于基线模型，验证了跨注意力机制和数据增强的有效性。

本研究针对CoMeDi共享任务的分歧排名子任务，提出了一种新方法，利用paraphrase-xlm-r-multilingual-v1模型生成的句子嵌入和深度神经回归模型。优化后的系统在Spearman相关性表现上达到了竞争性水平，强调了在多语言环境中处理判断差异的重要性。

本研究解决了大型语言模型提取句子嵌入时的编码偏差问题，提出的令牌预处理技术显著提高了嵌入的准确性，实验结果表明性能提升明显且无额外推理成本。

本文提出了一种利用生成文本模型进行数据增强的方法，以提升句子嵌入效果。该方法无需访问模型参数，实验结果表明，低基线性能的嵌入模型经过增强后显著提升，增强了语义多样性和鲁棒性。

本文探讨了多语言句子表示的研究，介绍了多种探针任务和编码器训练方法。研究发现，不同语言的句子嵌入在保留语言信息方面表现不同，跨语言映射效果优于基于英文的编码器。此外，提出了利用合成数据集提升多语言句子表示质量的新方法，强调了语言特定差异和模型可解释性。

本文介绍了多种基于BERT的句子嵌入方法，如SBERT、SBERT-WK和BERT-flow，展示了它们在语义文本相似度任务中的优越性能。研究表明，ALBERT在某些任务上优于BERT，而T5模型在句子嵌入方面也取得了进展。此外，提出的对比学习框架有效利用了未标注文本的编码。

本文提出了一种结合句子嵌入和生成过程模型的主题建模算法，利用大型语言模型（LLMs）解决短文本主题推断的挑战。研究表明，该方法在多个数据集上表现优异，能够识别更连贯的主题，减少虚构主题的产生，并提高主题提取质量，消除手动调整的需求。

本文探讨了基于转换模型的句子嵌入如何编码语言信息，分析了不同模型在语法、语义和推理任务中的表现。研究发现，模型的早期层主要编码成分关系信息，并提出了一个新的数据集以支持政府关系的研究。此外，通过信息理论分析，识别了学习阶段和任务间共享信息的关键点，对模型可解释性和多任务学习具有重要意义。

本文介绍了一种基于自注意力机制的句子嵌入模型，提升了可解释性并在多个任务中表现优异。研究提出了结合不同机制的新架构，如OTCE和Anthe，以提高性能和降低内存成本。同时，探索了长序列数据中的依赖性，提出了CHELA和SMA机制，解决了注意力复杂性问题，并展示了在多种任务中的有效性。