Xihan Li ·

关于DeepSeek R1部署的说明

💡 原文英文，约1700词，阅读约需7分钟。

📝

内容提要

DeepSeek R1 671B模型的本地部署指南包括硬件要求和模型选择。使用动态量化版本可将模型大小缩小至131GB，适合普通用户。建议使用高带宽内存设备以提高生成速度。部署步骤包括下载模型文件、安装ollama并创建模型文件。测试结果显示，动态量化模型在生成速度和性能上优于标准版本。

🎯

DeepSeek R1 671B模型的原始大小为720GB，使用动态量化版本可缩小至131GB，适合普通用户。
建议使用高带宽内存设备以提高生成速度，内存要求为DeepSeek-R1-UD-IQ1_M: RAM + VRAM ≥ 200 GB，DeepSeek-R1-Q4_K_M: RAM + VRAM ≥ 500 GB。
部署步骤包括下载模型文件、安装ollama并创建模型文件，确保有足够的存储空间。
测试结果显示，动态量化模型在生成速度和性能上优于标准版本，生成速度为DeepSeek-R1-UD-IQ1_M: 7-8 tokens/s，DeepSeek-R1-Q4_K_M: 2-4 tokens/s。
动态量化版本在处理经典提示时表现良好，但在长文本生成时速度会显著下降。

🔎

DeepSeek R1的动态量化版本将模型大小缩小至131GB，使其更易于普通用户部署。相比于720GB的原始模型，动态量化不仅节省了存储空间，还在生成速度和性能上表现更佳，适合短文本生成。用户在选择模型时应优先考虑动态量化版本，以获得更好的使用体验。

部署DeepSeek R1时，硬件配置是关键因素。对于动态量化模型，建议的内存配置为RAM和VRAM总和≥200GB，而标准版本则需≥500GB。用户应根据自身硬件条件选择合适的模型，以避免因资源不足导致的性能瓶颈。

生成速度受多种因素影响，包括模型类型、硬件配置和文本长度。动态量化模型在短文本生成时速度可达7-8 tokens/s，但在处理长文本时速度会显著下降，可能降至1-2 tokens/s。因此，用户在使用时应考虑文本长度对生成效率的影响。

❓

动态量化版本将模型大小缩小至131GB，适合普通用户，并在生成速度和性能上优于标准版本。

DeepSeek-R1-UD-IQ1_M需要RAM + VRAM ≥ 200 GB，DeepSeek-R1-Q4_K_M需要RAM + VRAM ≥ 500 GB。

部署步骤包括下载模型文件、安装ollama并创建模型文件，确保有足够的存储空间。

DeepSeek-R1-UD-IQ1_M的生成速度为7-8 tokens/s，DeepSeek-R1-Q4_K_M为2-4 tokens/s，长文本生成速度会显著下降。

注意CPU和RAM是瓶颈，生成速度会随着上下文长度增加而降低，建议用于较轻的任务。

动态量化版本在长文本生成时速度会显著下降，可能降至1-2 tokens/s。

🏷️