LLM探索：环境搭建与模型本地部署
💡
原文中文，约6900字，阅读约需17分钟。
📝
内容提要
本文介绍了两个国产开源LLM的本地部署，ChatGLM-6B和MOSS。MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。模型采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。
🎯
关键要点
- 本文介绍了两个国产开源LLM的本地部署：ChatGLM-6B和MOSS。
- MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。
- ChatGLM-6B是清华和智谱公司开发的开源LLM，支持中英双语，具有62亿参数。
- ChatGLM-6B在消费级显卡上可进行本地部署，最低显存需求为6GB。
- MOSS是复旦大学开发的开源对话语言模型，具有160亿参数，推理速度较慢。
- MOSS在FP16精度下需要31GB显存，完成一轮对话需要42GB。
- ChatGLM-6B的商用需要购买许可证，而MOSS采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。
- 搭建环境需要NVIDIA显卡和Linux系统，推荐使用Ubuntu。
- Python环境建议使用conda管理，推荐使用miniconda3。
➡️
