大模型时代的芯片机遇与未来 | 知乎AI先行者沙龙
内容提要
行云集成电路创始人季宇在知乎AI先行者沙龙活动上分享了对大模型和芯片行业的思考。大模型商业化面临高边际成本问题，而芯片行业的Scaling技能可以解决这个问题。芯片行业的发展将使大模型的内存和互联变得更便宜，支持更高质量的Token服务。芯片行业的发展也将带来大模型商业化的机会，解决产品定义和供应链问题。大模型的商业化将改变成本模型，使大模型能够在端侧低成本运行，实现更好的体验。
延伸解读
大模型商业化的成本瓶颈
文章指出，大模型商业落地与互联网业务的关键区别在于边际成本极高。每增加一个用户，基础设施成本显著上升，而当前订阅费用难以覆盖。日活千万的通用大模型年收入需超100亿元才能支撑数据中心成本。若服务上亿用户，成本问题将更严峻。这解释了为何大模型商业化仍处早期，也凸显了芯片行业通过Scaling降低成本的迫切性。
芯片行业如何破解成本难题
芯片行业拥有最强的Scaling能力，摩尔定律是经济性方案。尽管先进工艺研发投入飙升，但GPU架构创新使算力成本十年降低千倍。大模型需求从算力转向内存和互联，封装、硅光等技术打开新空间。芯片行业持续演进，可将大模型Scaling所需资源大幅降低，使7万亿美元计划逐步缩水，最终让高质量Token变得便宜。
中国AI芯片的商业化机遇
过去AI芯片竞争聚焦算力，但算力与编程模型、软件强耦合，且依赖先进工艺，导致产品定义和供应链困难。大模型将竞争力转向内存和互联，这些维度更标准化，更贴近指标竞争，类似网卡或交换机。同时，对先进工艺依赖降低，封装、互联层面有更多发挥空间。这为中国AI芯片行业解决产品定义和供应链问题提供了新可能。
端侧大模型的未来图景
随着芯片行业降低成本，大模型将落到端侧，形成更经济的成本模型。类似游戏市场，玩家自购显卡承担画质成本，无需为不同游戏单独付费。未来用户可在端侧低成本运行极高质量大模型，无需为不同云端服务承担独立订阅费，还能打破应用壁垒，实现更好协同。这与当前AI PC跑小模型有本质区别，有待芯片迭代支持旗舰模型。
Q&A
大模型商业化面临哪些主要挑战？
大模型商业化面临高边际成本问题，增加用户时基础设施成本显著上升，且模型质量和上下文长度的提升可能进一步增加成本。
芯片行业如何支持大模型的发展？
芯片行业的发展将降低大模型所需的内存和互联成本，支持更高质量的Token服务，并解决产品定义和供应链问题。
未来大模型的商业探索将如何分化？
未来大模型的商业探索将分化为质量优先和成本优先两派，分别寻求高质量通用大模型和低成本硬件的解决方案。
摩尔定律对芯片行业的影响是什么？
摩尔定律推动了芯片行业的Scaling，使得芯片资源逐渐降低，支持大模型的内存和互联需求。
大模型对芯片的主要需求是什么？
大模型对芯片的主要需求已转向内存和互联，需要高带宽内存支撑服务。
未来大模型的成本模型将如何改变商业形态？
未来大模型的成本模型将导致商业形态的变革，用户可在端侧低成本运行高质量大模型，减少对云端服务的依赖。
