记第一次推荐开发实践遇到的问题
原文中文,约15700字,阅读约需38分钟。发表于: 。自从入行以来,从来没有重视过内存管理这块的东西,但这次真的是该遭的罪一点没落下的全体验了一遍。试问苍天饶过谁。由于预测时的全量用户为 1.5 亿,数据量实在太大,而且服务器上没有 GPU 资源,所以只能通过开启多进程的方式来进行预测。在 python 中开启多进程无果后,只能想办法曲线救国,最终通过 shell 脚本将数据拆分然后循环调用 python...
本文讲述了推荐算法实践中的问题和解决方法,包括空字段处理、负样本选择和是否需要负样本。介绍了使用torch-rechub库进行训练和预测的方法,并解决了模型加载和数据变动引发的报错问题。分享了多进程预测中的内存管理问题和解决方法。