文章讲述了使用某软件时遇到的问题和解决方法，包括缺少cudatoolkit和代码中的device_map参数设置。问题只在int4量化下出现，使用fp16精度全模型运行没有问题。
完成下面两步后，将自动完成登录并继续当前操作。
