内容提要
DeepSeek AI 公司于2024年底开源了其最新的混合专家语言模型DeepSeek-V3-Base，参数达到685B，包含256个专家，性能显著提升，编程能力超越多款竞品，成为Claude 3.5的强劲对手。
关键要点
-
DeepSeek AI 公司于2024年底开源了混合专家语言模型DeepSeek-V3-Base，参数达到685B。
-
DeepSeek-V3-Base包含256个专家，使用sigmoid路由方式，每次选取前8个专家。
-
该模型具有高稀疏性，只有一小部分专家在给定输入时活跃。
-
DeepSeek-V3-Base在Aider多语言编程测评中表现优异，仅次于OpenAI o1-2024-12-17。
-
DeepSeek-V3的编程性能从V2.5的17.8%提升至48.4%，提升近31%。
-
DeepSeek-V3在LiveBench基准测试中整体性能超越gemini-2.0-flash-exp和Claude 3.5 Sonnet。
-
DeepSeek V3与V2的关键区别包括词汇大小、隐藏层数量和注意力头数量等。
-
DeepSeek-V3采用sigmoid函数作为模型评分函数，而V2采用softmax函数。
-
网友评论称DeepSeek-V3是Claude 3.5的强劲对手，开源模型追赶SOTA的速度惊人。
延伸问答
DeepSeek-V3-Base的参数和架构是什么？
DeepSeek-V3-Base采用了685B参数的混合专家架构，包含256个专家，使用sigmoid路由方式，每次选取前8个专家。
DeepSeek-V3-Base在编程能力上表现如何？
DeepSeek-V3-Base在Aider多语言编程测评中表现优异，编程性能从V2.5的17.8%提升至48.4%，提升近31%。
DeepSeek-V3-Base与前代模型相比有哪些主要区别？
DeepSeek-V3与V2的主要区别包括词汇大小、隐藏层数量、注意力头数量等，V3在这些方面均有所增加。
DeepSeek-V3-Base的稀疏性如何影响其性能？
DeepSeek-V3-Base具有高稀疏性，只有一小部分专家在给定输入时活跃，这提高了模型的效率。
DeepSeek-V3-Base在LiveBench基准测试中的表现如何？
DeepSeek-V3在LiveBench基准测试中整体性能超越gemini-2.0-flash-exp和Claude 3.5 Sonnet，表现非常竞争力。
网友对DeepSeek-V3-Base的评价如何？
网友评论称DeepSeek-V3是Claude 3.5的强劲对手，开源模型追赶SOTA的速度惊人。
