Anjhon’s Blog
·
记第一次推荐开发实践遇到的问题
💡
原文中文，约15700字，阅读约需38分钟。
📝
内容提要
本文讲述了推荐算法实践中的问题和解决方法，包括空字段处理、负样本选择和是否需要负样本。介绍了使用torch-rechub库进行训练和预测的方法，并解决了模型加载和数据变动引发的报错问题。分享了多进程预测中的内存管理问题和解决方法。
🎯
关键要点
- 内存管理在大数据处理中的重要性，尤其是在没有GPU资源的情况下。
- 通过shell脚本拆分数据并循环调用Python脚本以实现多进程预测。
- 推荐算法实践中使用双塔模型（DSSM）进行召回阶段的开发。
- 处理空字段时，正样本和负样本的拼接方法。
- 负样本选择应只针对正样本中的用户ID，以保持数据一致性和减少噪声。
- 评估召回质量时需要负样本，但如果只关注覆盖率则不一定需要。
- torch-rechub库的使用方法，包括模型训练和预测。
- 数据变动可能导致模型加载错误，需确保特征词典一致性。
- Dataloader引发的死锁问题及其解决方法。
- 内存溢出问题的解决方案，包括逐步合并DataFrame和强制垃圾回收。
🏷️
标签
➡️
