量子位
·
中科大华为发布生成式推荐大模型，昇腾NPU可部署，背后认知一同公开
内容提要
中科大与华为合作发布的生成式推荐大模型成功在昇腾NPU上部署，基于扩展定律提升推荐系统性能，适用于复杂场景和排序任务，展现良好扩展性。未来研究将集中于数据工程和训练效率等方向。
关键要点
-
中科大与华为合作发布生成式推荐大模型，成功在昇腾NPU上部署。
-
生成式推荐范式具备扩展定律，是未来趋势。
-
推荐系统的发展逐渐减少对手工设计特征工程和模型结构的依赖。
-
HSTU等生成式推荐框架验证了推荐领域的扩展定律。
-
团队对比了HSTU、Llama、GPT和SASRec四种架构的扩展性。
-
HSTU的关键组件相对注意力偏移（RAB）对模型扩展性至关重要。
-
HSTU在复杂场景和排序任务中表现优异，尤其在多域联合建模上。
-
未来研究将集中于数据工程、Tokenizer和训练推理效率等方向。
延伸解读
生成式推荐的未来趋势
生成式推荐范式的兴起标志着推荐系统的重大变革。随着深度学习技术的发展，推荐系统逐渐减少对手工特征工程的依赖，转向基于大模型的自动化推荐。这一趋势不仅提升了推荐的准确性，也为复杂场景下的应用提供了新的可能性。
HSTU模型的优势
HSTU模型在多域联合建模和排序任务中表现优异，尤其在处理冷启动问题时展现出强大的潜力。与传统模型相比，HSTU的扩展性更强，能够在不同数据集上保持良好的性能，这为未来推荐系统的设计提供了重要参考。
扩展定律的应用
扩展定律在生成式推荐模型中的应用揭示了模型性能与参数规模、数据集规模之间的关系。理解这一规律有助于研究者在设计推荐系统时优化模型结构，从而提升推荐效果。未来的研究将继续探索如何有效利用扩展定律来推动推荐技术的发展。
延伸问答
中科大与华为合作发布的生成式推荐大模型有什么特点？
该模型成功在昇腾NPU上部署，具备扩展定律，适用于复杂场景和排序任务，展现良好扩展性。
生成式推荐范式的扩展定律是什么？
扩展定律描述了模型性能与参数规模、数据集规模和训练资源之间的幂律关系，通过增加模型深度和宽度可以提升推荐效果。
HSTU模型在复杂场景中的表现如何？
HSTU在多域、多行为和辅助信息等复杂场景中表现优异，尤其在多域联合建模上优于基线模型SASRec和C2DSR。
生成式推荐模型在排序任务中的有效性如何？
生成式推荐大模型在排序任务中显著优于传统模型DIN，尽管在小规模模型下Llama表现更好，但HSTU在扩展性方面更具优势。
未来的研究方向主要集中在哪些方面？
未来研究将集中于数据工程、Tokenizer和训练推理效率等方向，以解决当前挑战并拓宽应用场景。
HSTU与其他推荐模型相比有什么优势？
HSTU在扩展性方面表现优异，尤其在参数扩展时性能显著提升，而GPT和SASRec的扩展性不足。
