DELRec: 提炼序列模式以增强基于 LLM 的推荐
内容提要
本文探讨了多种推荐系统模型的创新，包括基于小型语言模型的推荐模型SLMRec，显著减少参数并加速训练和推断。同时，提出了结合逻辑推理的序列推荐框架，利用多模态信息和检索增强技术提升推荐性能，解决长尾用户和商品问题。实验结果表明这些方法在实际应用中表现优越。
延伸解读
SLMRec：小型语言模型的高效推荐
SLMRec 基于小型语言模型，仅使用 LLM-based 推荐模型中 13% 的参数，训练和推断时间成本分别加速 6.6 倍和 8.0 倍。其核心发现是大多数 LLMs 的中间层是多余的，这为在资源受限场景下部署推荐系统提供了新思路，但需注意其性能可能受模型规模限制。
长尾挑战的双视图建模
针对长尾用户和长尾商品，研究提出融合语义信息和协同信号的双视图建模方法，并采用检索增强的自蒸馏技术改进用户偏好表示。实验表明该框架优于现有方法，但实际应用中需平衡语义与协同信号的权重，避免偏差。
多模态与检索增强的融合
MISSRec 利用多模态预训练和迁移学习解决稀疏 ID 和冷启动问题，ReLLa 通过检索增强提升零样本和少样本推荐性能。这些方法共同指向利用外部信息增强推荐鲁棒性，但多模态数据的获取和处理可能增加系统复杂度。
逻辑推理与知识增强
概率逻辑推理框架分离特征嵌入和逻辑嵌入，捕获用户品味的不确定性和演变；Knowledge-Enhanced LLMRec 利用外部知识生成真实文本。这些方法提升了推荐的可解释性和真实性，但逻辑推理的引入可能增加计算开销。
Q&A
SLMRec模型的主要优势是什么？
SLMRec模型仅使用13%的参数，并在训练和推断时间上分别加速6.6倍和8.0倍。
如何解决长尾用户和商品的问题？
通过引入大型语言模型和双视图建模方法，增强顺序推荐系统的性能。
什么是理由精炼推荐模型（RDRec）？
RDRec通过提取用户和物品相关评论的精华，为推荐系统提供理由，提升推荐性能。
MISSRec框架的主要功能是什么？
MISSRec框架通过多模态预训练和迁移学习，解决稀疏ID和冷启动问题。
ReLLa框架如何提高推荐性能？
ReLLa通过语义用户行为检索和检索增强指导调优技术，提高零样本和少样本推荐任务的性能。
如何结合逻辑推理与深度神经网络？
通过分离特征嵌入和逻辑嵌入，结合概率逻辑推理与深度神经网络，捕获用户品味的不确定性和演变。
