清华翟季冬：DeepSeek 百倍算力效能背后的系统革命 | 智者访谈
原文中文，约8700字，阅读约需21分钟。
📝
内容提要
DeepSeek团队在两个月内利用2048张H800 GPU训练出与顶尖模型相媲美的成果，挑战了传统算力规模观念。翟季冬教授强调，系统软件创新是提升算力效能的关键，需在有限资源下优化算法和软件。目前国内算力资源闲置，亟需探索从应用到芯片的完整链路，以推动AI产业发展。
🔎
延伸解读
算力资源的闲置与机遇
当前国内许多智算中心的算力资源存在闲置现象，这反映出基础软件体系的短板。如何有效对接巨大的算力需求与现有的国产算力，将是推动AI产业发展的重要机遇。提升国产算力的易用性，使其达到与国际先进水平相当的程度，将有助于促进各行业的AI应用落地。
系统软件创新的重要性
翟季冬教授指出，系统软件的创新是提升算力效能的关键。通过优化编程语言、编译器和通信库等多个技术层面，可以在有限的资源下实现算力的最大化利用。这种创新不仅能提高模型训练的效率，还能为中国在AI领域的发展提供新的思路和路径。
算力优化的挑战与策略
在万卡集群训练中，面临并行策略选择、通信效率和容错机制等多重挑战。不同阶段的负载特点要求优化策略从整体pipeline角度出发，避免局部最优带来的开销。关注每个阶段的算力需求变化，将有助于提升整体资源利用率，确保训练过程的高效性。
❓
Q&A
DeepSeek团队是如何在短时间内训练出高效模型的？
DeepSeek团队利用2048张H800 GPU，在两个月内通过系统软件的深度创新和算法优化，训练出媲美顶尖模型的成果。
翟季冬教授认为提升算力效能的关键是什么？
翟季冬教授强调，系统软件创新是提升算力效能的关键，需要在有限资源下优化算法和软件。
国内算力资源闲置的原因是什么？
国内算力资源闲置主要是由于供需错配，暴露出基础软件体系的短板。
DeepSeek如何实现百倍性价比提升？
DeepSeek通过系统软件的深度创新和算法优化，实现了百倍性价比的提升。
未来1-3年国产算力的发展趋势是什么？
未来1-3年，国产算力需达到与NVIDIA相同的易用性，以促进AI在各行业的发展。
在算力主导AI竞争力的时代，如何最大化计算资源的价值？
最大化计算资源的价值需要通过系统软件创新和算法优化，提升算力的利用效率。
🏷️
