小众软件
·
colibri – 在 25GB 内存电脑上运行 GLM-5.2 (744B MoE)
内容提要
Colibri 是一个开源项目，允许普通电脑在仅有 25GB 内存的情况下运行 GLM-5.2 模型，无需 GPU。它通过按需加载模型参数，节省内存和硬盘空间。GLM-5.2 是智谱发布的强大开源模型，支持多种操作系统，但需要 370GB 硬盘。
关键要点
-
Colibri 是一个开源项目，允许普通电脑在仅有 25GB 内存的情况下运行 GLM-5.2 模型，无需 GPU。
-
Colibri 使用纯 C 语言，零依赖，按需从硬盘加载模型参数，节省内存。
-
GLM-5.2 是智谱发布的旗舰开源模型，总参数为 744B，支持多种操作系统，但需要 370GB 硬盘。
-
GLM-5.2 采用 MoE 架构，每次推理只激活约 40B 参数，具有 100 万 Token 的上下文长度。
-
开发者提供了不同硬件配置下的速度预估，虽然速度较慢，但在普通电脑上运行 744B 模型已属不易。
延伸解读
Colibri 的技术优势
Colibri 项目通过按需加载模型参数，显著降低了对内存的需求，使得普通电脑也能运行大型语言模型 GLM-5.2。这种技术创新不仅提升了模型的可访问性，也为没有高端硬件的用户提供了新的可能性。
硬件要求与限制
尽管 Colibri 允许在 25GB 内存的电脑上运行 GLM-5.2，但用户仍需注意硬盘空间的限制。GLM-5.2 模型需要 370GB 的硬盘空间，这对许多普通用户来说可能是一个障碍。因此，确保硬盘容量充足是使用该模型的前提。
性能预期与实际体验
根据开发者提供的速度预估，虽然 Colibri 能在普通电脑上运行 744B 模型，但速度相对较慢，实际体验可能不尽如人意。用户在使用时应有心理准备，理解这种性能在大型模型中是正常现象。
延伸问答
Colibri 项目的主要功能是什么？
Colibri 是一个开源项目，允许普通电脑在仅有 25GB 内存的情况下运行 GLM-5.2 模型，无需 GPU。
GLM-5.2 模型的参数和架构是什么？
GLM-5.2 模型总参数为 744B，采用 MoE 架构，每次推理只激活约 40B 参数，支持 100 万 Token 的上下文长度。
在运行 GLM-5.2 时，Colibri 如何节省内存？
Colibri 通过按需从硬盘加载模型参数，而不是一次性将模型全部放入内存，从而节省内存。
GLM-5.2 模型需要多少硬盘空间？
GLM-5.2 模型需要 370GB 的硬盘空间。
Colibri 支持哪些操作系统？
Colibri 支持 Linux、macOS（Intel 和 Apple Silicon）、Windows 11 原生和 WSL2。
使用 Colibri 运行 GLM-5.2 的速度如何？
速度较慢，具体取决于硬件配置，预计在 25GB RAM 的情况下速度为 0.05–0.1 tok/s。
