个性化大型语言模型(LLMs)通过个性化碎片(Per-Pcs)框架实现用户定制交互、内容和推荐。Per-Pcs将用户的参数高效微调拆分为碎片,并训练门控模型,实现用户根据历史数据选择和组装个性化的参数。实验结果表明,Per-Pcs在性能和资源消耗方面优于其他方法。Per-Pcs具有可扩展性和模块化特点,促进了安全共享和高效的LLM个性化。
个性化大型语言模型(LLMs)通过个性化碎片(Per-Pcs)框架实现用户定制交互、内容和推荐。Per-Pcs将用户的参数高效微调(PEFT)拆分为碎片,并训练门控模型,实现用户根据历史数据选择和组装个性化的PEFT。实验结果表明,Per-Pcs优于非个性化和PEFT检索基线,在性能和资源消耗方面都有显著提升。Per-Pcs具有可扩展性和模块化特点,促进了安全共享和高效的LLM个性化。
本文介绍了基于专家混合(MoE)的个性化大型语言模型P-tailor,用于建模五大人格特征,并通过个性特化损失提高模型参数利用效率。作者构建了高质量的人格塑造数据集(PCD),实验证明了P-tailor在细粒度人格特征操作方面的出色性能和有效性。
完成下面两步后,将自动完成登录并继续当前操作。