量子位
·
中科大华为发布生成式推荐大模型，昇腾NPU可部署，背后认知一同公开
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
中科大与华为合作发布的生成式推荐大模型成功在昇腾NPU上部署，基于扩展定律提升推荐系统性能，适用于复杂场景和排序任务，展现良好扩展性。未来研究将集中于数据工程和训练效率等方向。
🎯
关键要点
- 中科大与华为合作发布生成式推荐大模型，成功在昇腾NPU上部署。
- 生成式推荐范式具备扩展定律，是未来趋势。
- 推荐系统的发展逐渐减少对手工设计特征工程和模型结构的依赖。
- HSTU等生成式推荐框架验证了推荐领域的扩展定律。
- 团队对比了HSTU、Llama、GPT和SASRec四种架构的扩展性。
- HSTU的关键组件相对注意力偏移（RAB）对模型扩展性至关重要。
- HSTU在复杂场景和排序任务中表现优异，尤其在多域联合建模上。
- 未来研究将集中于数据工程、Tokenizer和训练推理效率等方向。
❓
延伸问答
中科大与华为合作发布的生成式推荐大模型有什么特点？
该模型成功在昇腾NPU上部署，具备扩展定律，适用于复杂场景和排序任务，展现良好扩展性。
生成式推荐范式的扩展定律是什么？
扩展定律描述了模型性能与参数规模、数据集规模和训练资源之间的幂律关系，通过增加模型深度和宽度可以提升推荐效果。
HSTU模型在复杂场景中的表现如何？
HSTU在多域、多行为和辅助信息等复杂场景中表现优异，尤其在多域联合建模上优于基线模型SASRec和C2DSR。
生成式推荐模型在排序任务中的有效性如何？
生成式推荐大模型在排序任务中显著优于传统模型DIN，尽管在小规模模型下Llama表现更好，但HSTU在扩展性方面更具优势。
未来的研究方向主要集中在哪些方面？
未来研究将集中于数据工程、Tokenizer和训练推理效率等方向，以解决当前挑战并拓宽应用场景。
HSTU与其他推荐模型相比有什么优势？
HSTU在扩展性方面表现优异，尤其在参数扩展时性能显著提升，而GPT和SASRec的扩展性不足。
➡️
