在线社交网络产生大量用户评论文本，主题建模是分析这类数据的重要技术。本研究比较五种常用主题建模方法在客户评价上的表现，以主题连贯性等指标评估，发现BERTopic在提取有意义主题方面始终表现出色。其他研究也表明，结合预训练嵌入、降维与聚类的方法能提升主题质量，关键词辅助模型可增强可解释性。

该文介绍了一种改进的密集检索方法，用于大型语言模型的前提学习中。该方法通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索。实验证明该方法相比于基于通用嵌入的基线有所改进。