本文介绍了一种非常见的整型位数的模型量化方案，作者使用自己制作的量化程序将YI-34B模型转换为GGML格式，并进行了量化操作。量化后的模型尺寸大大减小，可以在CPU环境和CPU&GPU环境中进行推理。作者还介绍了模型量化的准备材料和具体操作步骤。最后，作者鼓励大家玩模型，感谢开源模型创作者和分享者的努力。