Chatglm3部署踩坑记录
原文中文，约700字，阅读约需2分钟。
📝
内容提要
文章讲述了使用某软件时遇到的问题和解决方法，包括缺少cudatoolkit和代码中的device_map参数设置。问题只在int4量化下出现，使用fp16精度全模型运行没有问题。
🏷️
