本文介绍了两个国产开源LLM的本地部署,ChatGLM-6B和MOSS。MOSS对显存要求高,推理速度慢,需要使用量化模型和多卡加速。模型采用GNU AFFERO GENERAL PUBLIC LICENSE许可证,可以免费商用。
完成下面两步后,将自动完成登录并继续当前操作。