大型语言模型(LLM)在AI领域取得显著进展,但在低功耗平台实施面临挑战。研究提出“能力密度”作为评估LLM质量的新指标,强调有效参数与实际参数的比率。分析29个开源模型发现,LLM密度每三个月翻一番,表明更高效的设计将与复杂模型竞争,推动技术进步。
近期,AI界对大模型的Scaling Law产生分歧。清华大学提出的密度定律表明,大模型能力密度每100天翻倍,推论模型推理开销和能力密度加速下降,揭示端侧智能潜力,强调需持续探索大模型的科学建设路径。
完成下面两步后,将自动完成登录并继续当前操作。