Agent时代,CPU的价值该重估了

Agent时代,CPU的价值该重估了

💡 原文中文,约3300字,阅读约需8分钟。
📝

内容提要

英特尔在苏州大会上指出,Agent时代AI计算配比从1颗CPU配4颗GPU变为1:1,CPU需承担更多调度与数据处理。英特尔通过至强处理器加速数据预处理、优化KV Cache存储,并联合软件伙伴提升系统效率,同时布局端侧CPU、GPU、NPU协同,拓展机器人与车载AI等场景。

🔎

延伸解读

Agent任务如何改变CPU与GPU的配比

文章指出,Agent执行任务时需先处理网页、PDF、视频等格式的数据,再交给大模型分析,且一次调用往往不够,需多轮拆解、调用工具和迭代。这些预处理、调度和执行工作更适合CPU承担,导致AI计算配比从1颗CPU配4颗GPU变为1:1。这意味着CPU在系统中的角色从辅助转向关键,其价值需重新评估。

企业采购CPU应关注哪些实际指标

文章提到,企业客户不仅关心能运行多少个智能体,更看重每个智能体的能力和可靠性。例如,短时间内启动大量沙箱、多Agent并发时能否及时响应,都影响服务可用性。因此,CPU的评价应参照并发能力、响应时间和对真实任务的支撑能力,而非单纯看核心数或频率。采购时需结合具体业务负载测试。

英特尔优化CPU价值的两个技术切入口

为提升CPU在Agent系统中的效率,英特尔从数据预处理和KV Cache存储入手。一方面利用至强处理器内置加速能力加快数据预处理;另一方面针对长上下文和反复任务信息,通过无损压缩和加快传输优化KV Cache,减少存储占用和等待。这些优化旨在让数据更快送达计算资源,减少CPU、GPU闲置,从而提升整体系统效率。

端侧与机器人场景中CPU的协同角色

文章介绍,在个人设备和机器人中,CPU、GPU、NPU需协同工作:CPU负责智能体的计划、决策等及时响应任务,GPU处理矩阵计算,NPU以低功耗支持长时间音视频和视觉任务。机器人还需感知环境、规划任务和实时控制,对及时响应要求更高。这为英特尔处理器和软件平台提供了PC之外的新应用场景,但商业成功取决于合作伙伴能否交付客户愿意付费的产品。

Q&A

Agent时代,AI计算的CPU和GPU配比发生了什么变化?

从原来的1颗CPU搭配4颗GPU(1:4)变为1颗CPU搭配1颗GPU(1:1)。

为什么Agent时代CPU变得更重要了?

因为Agent需要调用工具、执行任务,CPU要承担更多的调度、数据处理和执行工作,模型计算之外的环节都需要CPU跟上节奏。

英特尔在数据预处理方面如何利用CPU加速?

英特尔利用至强处理器内置的加速能力,加快数据预处理工作,帮助客户减少等待时间。

英特尔针对KV Cache存储做了哪些优化?

英特尔利用处理器内置能力进行无损压缩,并加快数据传输,以优化KV Cache的容量和调度,减少重复计算和存储占用。

在端侧设备上,CPU、GPU、NPU如何协同工作?

CPU承担智能体的计划、决策等需要及时响应的工作;GPU处理矩阵计算等AI计算任务;NPU以较低功耗支持长时间运行的音视频处理、计算机视觉等任务。

英特尔在机器人场景中看到了哪些CPU应用机会?

机器人需要感知环境、规划任务和实时控制运动,多个机器人之间还可能涉及协同调度,这些工作对及时响应要求高,给CPU留下了用武之地。

🏷️

标签

➡️

继续阅读