LLM最大能力密度100天翻一倍!清华刘知远团队提出Densing Law

LLM最大能力密度100天翻一倍!清华刘知远团队提出Densing Law

💡 原文中文,约3100字,阅读约需8分钟。
📝

内容提要

近期,AI界对大模型的Scaling Law产生分歧。清华大学提出的密度定律表明,大模型能力密度每100天翻倍,推论模型推理开销和能力密度加速下降,揭示端侧智能潜力,强调需持续探索大模型的科学建设路径。

🎯

关键要点

  • AI界对大模型的Scaling Law产生分歧,部分观点认为其已到头。
  • 清华大学提出的密度定律表明,大模型能力密度每100天翻倍。
  • 密度定律推论模型推理开销随时间指数级下降。
  • 大模型能力密度正在加速增强,芯片电路密度与模型能力密度持续增强。
  • 无法仅依靠模型压缩算法增强模型能力密度。
  • 模型高性价比有效期不断缩短,盈利窗口短暂。
  • 密度定律揭示LLM进入新发展阶段,电力、算力与智力密度快速增长。
  • AI计算从中心端到边缘端的分布式特性协同高效发展,推动AI无处不在的愿景。
➡️

继续阅读