LLM探索：环境搭建与模型本地部署
原文中文，约6900字，阅读约需17分钟。发表于：。1前言最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了…上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。本文将介绍这以下两个国产开源LLM的本地部署ChatGLM-6BMOSS本文先简单的把模型跑起来，后续将继续我近期在LLM方向的一些探索记录~2概念开始之前，先来看看一些基础概念。AI...
本文介绍了两个国产开源LLM的本地部署，ChatGLM-6B和MOSS。MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。模型采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。
