量子位
·
贾扬清：大模型尺寸正重走CNN的老路；马斯克：在特斯拉也是这样
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
贾扬清认为大模型尺寸的发展正在重走CNN的老路，但他主张行业应该发展小型垂直模型。他列举了CNN的发展历程，认为模型必须先变大，然后才能变小。有人认同这个趋势，认为小·大模型能重新定义AI的智能，但也有人持不同意见，认为大模型尺寸仍在增长。
🎯
关键要点
-
贾扬清认为大模型尺寸的发展正在重走CNN的老路，主张发展小型垂直模型。
-
他指出模型必须先变大，然后才能变小，这是行业发展的趋势。
-
贾扬清提到小型垂直模型的例子，如Patrouns AI的Iynx模型。
-
他观察到7B-70B参数规模的大模型更容易使用，且具有成本效益。
-
贾扬清回顾了CNN的发展历程，从模型规模的快速增长到缩小规模的过程。
-
他认为大模型尺寸的发展可能遵循CNN时代的相同趋势。
-
一些网友支持这一观点，认为小型模型可以在特定领域与大模型竞争。
-
贾扬清强调，虽然大模型仍在训练，但行业关注点已转向性价比更高的模型。
❓
延伸问答
贾扬清对大模型尺寸的发展有什么看法？
贾扬清认为大模型尺寸的发展正在重走CNN的老路，主张行业应发展小型垂直模型。
贾扬清提到的小型垂直模型有哪些例子？
贾扬清提到的例子包括Patrouns AI的Iynx模型，该模型在幻觉任务上超过了GPT-4o。
大模型尺寸的发展趋势与CNN有什么相似之处？
大模型尺寸的发展趋势与CNN相似，都是先追求更大的模型规模，然后再转向更小、更高效的模型。
贾扬清认为小型模型能否与大模型竞争？
贾扬清认为小型模型在特定领域可以与大模型竞争，甚至可能更聪明。
贾扬清对大模型的未来发展有什么预期？
贾扬清预期，随着技术的进步，行业将更加关注性价比高的模型，而不仅仅是追求更大的模型。
贾扬清提到的CNN发展历程是怎样的？
贾扬清回顾了CNN的发展历程，包括从模型规模的快速增长到缩小规模的过程，强调了性能与规模的平衡。
➡️
