量子位
·
DeepSeek开源全新OCR模型！弃用CLIP改用Qwen轻量小模型，性能媲美Gemini-3 Pro
内容提要
DeepSeek发布了新OCR模型DeepSeek-OCR 2，采用轻量化Qwen2-0.5B模型，性能接近Gemini-3 Pro。该模型通过DeepEncoder V2实现视觉标记智能重排，提升PDF转Markdown的准确性，基于OmniDocBench v1.5测试显示性能提升3.73%。
关键要点
-
DeepSeek发布了新OCR模型DeepSeek-OCR 2，主打将PDF文档精准转换Markdown。
-
DeepSeek-OCR 2采用轻量化Qwen2-0.5B模型，性能接近Gemini-3 Pro。
-
模型通过DeepEncoder V2实现视觉标记智能重排，提升PDF转Markdown的准确性。
-
DeepEncoder V2替换了CLIP组件，赋予编码器因果推理能力，模拟人类阅读逻辑。
-
在OmniDocBench v1.5基准上，DeepSeek-OCR 2性能提升3.73%。
-
模型架构包括视觉分词器和解码器，编码器负责将图像离散化为视觉标记。
-
引入双流注意力机制，确保视觉信息在所有层中保持活跃。
-
训练流程包括编码器预训练、查询增强和解码器微调。
-
DeepSeek-OCR 2在实验中表现优于Gemini-3 Pro，证明了模型逻辑视觉理解能力的提升。
-
项目已在GitHub开源，并同步上线HuggingFace，延续开源精神。
延伸解读
新模型的技术突破
DeepSeek-OCR 2通过引入DeepEncoder V2，打破了传统OCR模型的局限，采用因果推理能力进行视觉标记的智能重排。这一技术进步使得模型在处理复杂文档时，能够更好地保持语义的连贯性，提升了PDF转Markdown的准确性。
与Gemini-3 Pro的比较
DeepSeek-OCR 2在性能上与Gemini-3 Pro相媲美，且在OmniDocBench v1.5基准测试中表现出3.73%的提升。这表明，尽管采用了轻量化的Qwen2-0.5B模型，DeepSeek-OCR 2依然能够在实际应用中提供高效的文档解析能力。
开源与社区影响
DeepSeek-OCR 2的开源发布不仅延续了团队的开源精神，还为开发者和研究者提供了一个强大的工具。通过在GitHub和HuggingFace上的发布，用户可以更方便地访问和使用这一新模型，促进了OCR技术的进一步发展和应用。
延伸问答
DeepSeek-OCR 2的主要功能是什么？
DeepSeek-OCR 2主要用于将PDF文档精准转换为Markdown格式。
DeepSeek-OCR 2与Gemini-3 Pro的性能比较如何？
DeepSeek-OCR 2的性能接近Gemini-3 Pro，并在OmniDocBench v1.5上提升了3.73%。
DeepSeek-OCR 2采用了什么样的模型架构？
DeepSeek-OCR 2采用了DeepEncoder V2架构，结合了视觉分词器和解码器。
DeepEncoder V2的核心创新是什么？
DeepEncoder V2的核心创新在于引入了因果推理能力，实现视觉标记的智能重排。
DeepSeek-OCR 2的训练流程是怎样的？
DeepSeek-OCR 2的训练流程包括编码器预训练、查询增强和解码器微调三个阶段。
DeepSeek-OCR 2的开源情况如何？
DeepSeek-OCR 2已在GitHub和HuggingFace上开源，延续了开源精神。
