量子位
·
配这种CPU，GPU单卡就能跑满血DeepSeek-R1，至强+AMX让预填充速度起飞
内容提要
清华大学KVCache.AI团队与趋境科技推出KTransformers项目，支持在24G显存下运行DeepSeek-R1，显著提升推理速度。该项目通过异构计算和CPU的AMX指令集加速，预填充速度达到286 tokens/s，生成速度为14 tokens/s，降低了大模型的运行门槛，推动了本地部署的可能性。
关键要点
-
清华大学KVCache.AI团队与趋境科技推出KTransformers项目，支持在24G显存下运行DeepSeek-R1。
-
KTransformers项目通过异构计算和CPU的AMX指令集加速，预填充速度达到286 tokens/s，生成速度为14 tokens/s。
-
该项目降低了大模型的运行门槛，推动了本地部署的可能性。
-
DeepSeek-R1的推理服务器频繁宕机，导致中小团队难以承受高昂的成本。
-
KTransformers项目允许在仅有24GB显存的消费级显卡上流畅运行236B的大模型。
-
KTransformers团队采用了基于计算强度的offload策略和高性能的CPU/GPU算子来加速推理速度。
-
DeepSeek-R1/V3采用MoE架构，模型参数稀疏性强，减少了计算资源需求。
-
KTransformers兼容Huggingface Transformers的API与ChatGPT式Web界面，降低了上手难度。
-
项目支持Windows和Linux平台，方便用户运行。
-
未来计划升级到至强6处理器，寻求进一步的性能提升。
延伸解读
异构计算的优势
KTransformers项目通过异构计算显著降低了大模型的运行门槛，使得在仅有24GB显存的消费级显卡上也能流畅运行DeepSeek-R1。这一创新不仅提升了推理速度，还为中小团队提供了可行的本地部署方案，避免了高昂的云计算成本。
MoE架构的应用
DeepSeek-R1采用的MoE（混合专家）架构，通过激活部分模型参数来减少计算资源需求。这种稀疏性使得在推理时只需激活必要的专家模块，从而在显存有限的情况下实现高效推理，适合大规模模型的本地应用。
未来性能提升的潜力
KTransformers团队计划在未来升级到至强6处理器，进一步提升性能。新处理器的高核数和改进的AMX指令集可能会为预填充速度带来显著增幅，值得关注其对大模型推理的影响。
延伸问答
KTransformers项目的主要功能是什么？
KTransformers项目支持在24G显存下运行DeepSeek-R1，显著提升推理速度，降低了大模型的运行门槛。
KTransformers如何提升推理速度？
KTransformers通过异构计算和CPU的AMX指令集加速，预填充速度达到286 tokens/s，生成速度为14 tokens/s。
KTransformers项目对中小团队有什么帮助？
该项目降低了大模型的运行门槛，使中小团队能够在仅有24GB显存的消费级显卡上流畅运行236B的大模型，减少了高昂的成本。
DeepSeek-R1的MoE架构有什么特点？
DeepSeek-R1采用MoE架构，具有强稀疏性，执行推理时只激活部分模型参数，减少了计算资源需求。
KTransformers支持哪些平台？
KTransformers支持Windows和Linux平台，方便用户运行。
未来KTransformers有什么升级计划？
未来计划升级到至强6处理器，寻求进一步的性能提升，特别是AMX指令集的增强。
