苏洋博客 · 2023-12-11T16:24:00Z CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化 💡 原文中文，约8900字，阅读约需22分钟。 📝 内容提要 本文介绍了一种非常见的整型位数的模型量化方案，作者使用自己制作的量化程序将YI-34B模型转换为GGML格式，并进行了量化操作。量化后的模型尺寸大大减小，可以在CPU环境和CPU&GPU环境中进行推理。作者还介绍了模型量化的准备材料和具体操作步骤。最后，作者鼓励大家玩模型，感谢开源模型创作者和分享者的努力。 🏷️ 标签 CPU&GPU环境 GGML格式 YI-34B模型 cpu 大模型 整型位数 模型量化 阅读原文 生成长图 分享链接 已复制链接
