基于实例化LoRA的语言模型定制化用于序列推荐
原文中文,约400字,阅读约需1分钟。发表于: 。本研究针对传统推荐系统中统一应用LoRA导致的用户行为多样性捕捉不足问题,提出了实例化LoRA(iLoRA)方法。通过将LoRA与专家混合(MoE)框架相结合,iLoRA创建了多样化的专家网络,并引入序列表征引导的门控函数,显著提高了个性化推荐的准确性。实验结果表明,iLoRA在捕捉用户特定偏好方面优于现有方法,对改善推荐效果具有重要影响。
研究人员提出了CALRec,一个两阶段的LLM微调框架,通过两种对比损失和语言建模损失在两个塔式结构中微调预训练的LLM。实验证明,该模型在Recall@1和NDCG@10上的性能显著优于其他方法。