LLM探索：环境搭建与模型本地部署
原文中文，约6900字，阅读约需17分钟。
📝
内容提要
本文介绍了两个国产开源LLM的本地部署，ChatGLM-6B和MOSS。MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。模型采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。
🎯
关键要点
-
本文介绍了两个国产开源LLM的本地部署：ChatGLM-6B和MOSS。
-
MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。
-
ChatGLM-6B是清华和智谱公司开发的开源LLM，支持中英双语，具有62亿参数。
-
ChatGLM-6B在消费级显卡上可进行本地部署，最低显存需求为6GB。
-
MOSS是复旦大学开发的开源对话语言模型，具有160亿参数，推理速度较慢。
-
MOSS在FP16精度下需要31GB显存，完成一轮对话需要42GB。
-
ChatGLM-6B的商用需要购买许可证，而MOSS采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。
-
搭建环境需要NVIDIA显卡和Linux系统，推荐使用Ubuntu。
-
Python环境建议使用conda管理，推荐使用miniconda3。
🏷️
