💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
近期，AI界对大模型的Scaling Law产生分歧。清华大学提出的密度定律表明，大模型能力密度每100天翻倍，推论模型推理开销和能力密度加速下降，揭示端侧智能潜力，强调需持续探索大模型的科学建设路径。
🎯
关键要点
- AI界对大模型的Scaling Law产生分歧，部分观点认为其已到头。
- 清华大学提出的密度定律表明，大模型能力密度每100天翻倍。
- 密度定律推论模型推理开销随时间指数级下降。
- 大模型能力密度正在加速增强，芯片电路密度与模型能力密度持续增强。
- 无法仅依靠模型压缩算法增强模型能力密度。
- 模型高性价比有效期不断缩短，盈利窗口短暂。
- 密度定律揭示LLM进入新发展阶段，电力、算力与智力密度快速增长。
- AI计算从中心端到边缘端的分布式特性协同高效发展，推动AI无处不在的愿景。
❓
延伸问答
密度定律是什么？
密度定律是清华大学提出的，表明大模型能力密度每100天翻倍，推论模型推理开销随时间指数级下降。
密度定律对大模型的影响是什么？
密度定律揭示了大模型能力密度加速增强，意味着用更少的参数可以实现更强的性能，推动端侧智能的发展。
大模型的推理开销如何变化？
根据密度定律，模型推理开销随时间指数级下降，例如GPT-3.5的推理成本在短时间内大幅降低。
如何评估大模型的能力密度？
能力密度定义为有效参数大小与实际参数大小的比率，通过参考模型的性能来计算。
模型压缩算法对能力密度的影响如何？
研究表明，无法仅依靠模型压缩算法来增强模型能力密度，很多压缩模型的密度低于原始模型。
未来大模型的发展趋势是什么？
未来大模型将进入密度至上的新发展阶段，电力、算力与智力密度将快速增长，推动AI技术的可持续发展。
➡️
