张善友
·
Token IO 架构的设计游戏：大模型产品形态四年演进的本质 - 张善友
内容提要
文章探讨了大模型产品的演进，强调了token流动方式的重新设计对用户体验的影响。过去四年，产品突破主要依赖于优化token使用和上下文管理，而非仅增加模型参数。未来竞争将围绕Agent框架和协议标准展开，产品经理需关注token流动、决策承载量和上下文加载等关键因素，以提升AI产品的体验和扩展性。
关键要点
-
过去四年，产品突破主要依赖于token流动方式的重新设计，而非模型参数的增加。
-
产品经理需关注token流动、决策承载量和上下文加载等关键因素，以提升AI产品的体验和扩展性。
-
Chain-of-Thought（CoT）通过改变输入提示格式，显著提升了模型的推理准确率。
-
PAL和PoT通过将推理与计算解耦，提升了系统整体可靠性。
-
ReAct框架引入了推理与行动的交替过程，定义了Agent循环的基本节拍。
-
CodeAct通过直接编写可执行代码，显著提高了IO效率。
-
Voyager项目引入了技能复用的概念，降低了模型在新任务上的探索成本。
-
MCP和A2A协议分别解决了工具集成和Agent间协作的问题。
-
未来的竞争将围绕Agent框架和协议标准展开，企业需关注token预算管理和推理成本的分化。
-
产品经理在评估AI方案时，应关注不确定性隔离、一次forward的工作量、经验复用和上下文加载等问题。
延伸解读
Token流动的重要性
文章强调，过去四年大模型产品的突破主要源于token在系统内的流动方式，而非单纯增加模型参数。这一观点提醒产品经理在评估AI产品时，需关注token的流动和管理，以提升用户体验和系统效率。
不确定性治理的策略
不同的推理框架如CoT、PAL和ReAct在处理不确定性时采取了不同的策略。理解这些策略的优缺点，有助于产品经理在设计AI系统时选择合适的框架，以提高系统的可靠性和效率。
技能复用的潜力
Voyager项目引入的技能复用概念，降低了模型在新任务上的探索成本。这一创新为企业提供了一个新的思路，即通过构建技能库来提升AI系统的灵活性和效率，值得关注和借鉴。
未来的竞争趋势
文章指出，未来的AI竞争将围绕Agent框架和协议标准展开。企业需关注token预算管理和推理成本的分化，以应对日益复杂的市场环境，确保产品的可持续发展。
延伸问答
大模型产品的演进主要依赖于什么因素？
大模型产品的演进主要依赖于token流动方式的重新设计，而非模型参数的增加。
Chain-of-Thought（CoT）如何提升模型的推理准确率？
CoT通过改变输入提示格式，让模型在给出最终答案之前，先一步一步写出思考过程，从而显著提升推理准确率。
未来大模型产品的竞争将围绕哪些方面展开？
未来的竞争将围绕Agent框架和协议标准展开，企业需关注token预算管理和推理成本的分化。
ReAct框架的基本工作流程是什么？
ReAct框架定义了推理与行动的交替过程，基本流程为：推理（Think）→ 行动（Act）→ 观察（Observe）→ 再次推理（Think）。
Voyager项目在Agent架构中引入了什么概念？
Voyager项目引入了技能复用的概念，降低了模型在新任务上的探索成本。
MCP和A2A协议的主要区别是什么？
MCP解决的是单个Agent能做什么，而A2A解决的是多个Agent能一起做什么，MCP是垂直的，A2A是水平的。
