BriefGPT - AI 论文速递
·
PEFT-U: 用户个性化的参数高效微调
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
个性化大型语言模型（LLMs）通过个性化碎片（Per-Pcs）框架实现用户定制交互、内容和推荐。Per-Pcs将用户的参数高效微调（PEFT）拆分为碎片，并训练门控模型，实现用户根据历史数据选择和组装个性化的PEFT。实验结果表明，Per-Pcs优于非个性化和PEFT检索基线，在性能和资源消耗方面都有显著提升。Per-Pcs具有可扩展性和模块化特点，促进了安全共享和高效的LLM个性化。
🎯
关键要点
- 个性化大型语言模型（LLMs）旨在根据个人用户的偏好定制交互、内容和推荐。
- 引入个性化碎片（Per-Pcs）框架，允许用户安全共享和组装个性化的参数高效微调（PEFT）。
- Per-Pcs通过选择共享者，将PEFT拆分为碎片，并为每个碎片训练门控模型。
- 该方法保护隐私，实现细粒度用户建模，且不占用过多存储和计算资源。
- 实验结果显示，Per-Pcs在性能和资源消耗上优于非个性化和PEFT检索基线。
- Per-Pcs在共享者数量、选择策略、碎片共享比例、计算时间和存储空间方面具有可扩展性。
- Per-Pcs的模块化促进了安全共享，使LLM个性化更加高效、有效和广泛可及。
➡️
