用户 - LLM: 基于用户嵌入的高效 LLM 语境化
内容提要
该文综述大语言模型在语音识别、搜索建议、句子嵌入、推荐系统等任务中的应用，核心是通过适配器、提示工程、上下文学习等方法，将LLM的上下文建模与推理能力引入下游任务，以提升个性化、泛化与准确性。研究还比较了LLM词嵌入与经典模型，并提出ClusterLLM文本聚类框架。
延伸解读
LLM 语境化的通用策略
文章综述了将大语言模型（LLM）的上下文建模能力引入下游任务的多种方法，包括适配器、提示工程和上下文学习。这些方法旨在利用 LLM 的推理能力提升个性化、泛化与准确性，同时通过少量可训练参数保持文本输入功能。例如，在语音识别中，添加适配器即可实现上下文化识别并显著提高性能。
嵌入技术的比较与进展
研究比较了经典词嵌入与 LLM 词嵌入的语义表现，发现 LLM 词嵌入更紧密地聚集语义相关词，并在 BATS 基准上取得更高准确率。此外，基于上下文学习的方法使 LLM 能生成高质量句子嵌入，在语义文本相似度任务上媲美对比学习，且调整模型大小可影响性能，最大模型在迁移任务上达到新最先进水平。
推荐系统与聚类的新应用
文章探讨了 LLM 在推荐系统中的应用，包括预训练、微调和提示，并强调将用户历史数据嵌入作为软提示可提升长历史文本的处理效果。同时，ClusterLLM 框架利用指导调整的 LLM 反馈进行文本聚类，即使嵌入不可访问也能发挥 LLM 的紧急能力，并通过指令或少量注释理解用户偏好。
Q&A
如何利用大型语言模型提升语音识别的上下文感知能力？
通过引入适配器的少量可训练参数，在保持文本输入功能的同时，实现预训练LLM的上下文化语音识别能力，并显著提高性能。
LLM如何用于个性化搜索查询建议？
利用用户与搜索引擎的交互历史作为上下文，提出一种新颖且通用的方法，用于个性化输出，从而生成更相关、个性化和有用的查询建议。
基于上下文学习提升句子嵌入性能的方法是什么？
提出一种基于上下文学习的方法，使LLM生成高质量句子嵌入，在语义文本相似度任务上表现与对比学习相当；调整模型大小发现超过几十亿参数会损害性能，但最大模型取得新最先进结果；微调2.7B OPT模型超过4.8B ST5。
LLM的词嵌入与经典词嵌入模型相比有何差异？
LLM往往比经典模型更紧密地聚集语义相关的词，并在Bigger Analogy Test Set (BATS)上取得更高的平均准确率；一些LLM的词嵌入与相对较轻的句子级BERT (SBERT)模型相似。
ClusterLLM文本聚类框架有什么优势？
ClusterLLM利用指导调整的LLM（如ChatGPT）的反馈，具有两个优势：（1）即使嵌入不可访问，也具有LLM的紧急能力；（2）通过文本指令和/或少量注释数据，可以理解用户在聚类方面的偏好。
LLM在推荐系统中如何应用？
通过将用户历史数据嵌入模型中，并用其作为软提示，展示了一种在处理较长历史文本时具有优势的方法，可用于提高推荐系统的效果；此外，还有综述总结了LLM在推荐系统中的预训练、微调和提示等方法。
