Deepseek的战略考虑以及核心竞争力本质 - 编程一生
内容提要
DeepSeek以工程改良为核心竞争力，将中国互联网的高并发工程思想应用于大模型，例如通过混合专家模型（MoE）分治来降低算力消耗。这一思路打破了美国资本驱动的科技垄断，促进了全球科技的自由发展，并对日常开发具有启发意义。
延伸解读
工程改良：DeepSeek的核心竞争力
文章指出，DeepSeek的核心竞争力在于工程改良，即把中国互联网的高并发工程思想应用于大模型。中国拥有全球业务量最大的支付清算基础设施和阿里腾讯等巨大C端并发系统，这些锤炼出的工程思想被DeepSeek用于大模型领域，例如通过混合专家模型（MoE）分治来降低算力消耗。这种思路并非单纯追求算法创新，而是通过工程手段优化资源利用，从而在有限资源下实现突破。
打破美国资本驱动模式的意义
文章分析，美国科技公司的发展依赖资本驱动，通常需要5-10年将理念转化为产品以支撑高估值。DeepSeek的突然出现冲击了美国股市，可能正是因为其打破了这种模式。美国通过科技创新领先性让其他国家掏钱并绑定经济，同时对中国进行技术封锁。DeepSeek的成功促进了全球科技的自由蓬勃发展，为其他国家提供了新的发展路径。
MoE分治思想与资源消耗
文章解释，DeepSeek的工程改良之一混合专家模型（MoE）本质上是先通过训练将算法分组，分别训练再整合。这种分治思想处理的数据成笛卡尔积减少，因此DeepSeek消耗了更少的资源。文章还提到，模型参数可理解为公式中的常量，常量越多公式越复杂，结果往往越好，如DeepSeek的671B模型有6710亿个参数。MoE通过分组降低了计算复杂度，实现了高效训练。
对日常开发的启发
文章强调，DeepSeek的工程思想对日常开发具有启发意义。作者认为，这些思想可以在日常开发中自己去想、去总结、去运用，在各个方面都能获得很高的收益。DeepSeek带给我们的启迪不仅是技术上的突破，更是一种工程思维的迁移，即如何将成熟领域的工程经验应用到新兴领域，从而以更低的成本实现更好的效果。
Q&A
DeepSeek的核心竞争力是什么？
DeepSeek的核心竞争力是工程改良，即把中国互联网的高并发工程思想应用到大规模模型领域。
DeepSeek如何降低大模型的算力消耗？
DeepSeek通过混合专家模型（MoE）进行分治，将算法分组分别训练再整合，使处理的数据成笛卡尔积减少，从而降低算力消耗。
DeepSeek对美国科技股和全球科技格局有什么影响？
DeepSeek打破了美国资本驱动的科技垄断局面，促进了全球科技的自由蓬勃发展，其出现曾使美国股市遭受冲击。
为什么中国能孕育出DeepSeek这样的工程改良？
因为中国有全球业务量最大的支付清算基础设施（如网联）以及阿里、腾讯等巨大C端用户并发量的系统，巨大的业务量让工程思想得到发展和锤炼。
Transformer模型中的Attention机制和搜索引擎的倒排索引有什么关系？
Attention机制类似于搜索引擎中的倒排索引反转词频：词在所有文本中出现的频率越高，其特征比重越低，反之则越高。
DeepSeek的工程改良思想对日常开发有什么启发？
可以在日常开发中自己去想、去总结、去运用这些工程改良思想，在各个方面都能获得很高的收益。
