CPU + GPU：为何AI平台工程是一个异构基础设施问题
内容提要
AI基础设施不应只关注GPU，而应视为CPU、内存、存储和网络协同工作的整体系统。平台团队需匹配各阶段资源需求，而非孤立优化GPU。通过Kubernetes及DRA等工具统一编排异构资源，并观察CPU到GPU的完整链路，以识别瓶颈。设计应围绕整个系统，而非单一组件，才能将算力转化为有效AI基础设施。
延伸解读
瓶颈可能不在GPU
文章指出，GPU利用率低不一定意味着需求不足，也可能是CPU预处理、数据访问或调度等上游环节拖慢了速度。平台团队若只盯着GPU指标，容易误判性能问题。实际排查时，应关注数据从CPU到GPU再到应用的完整链路，通过关联基础设施与应用遥测数据，定位真正的资源瓶颈，而不是盲目扩容GPU。
异构资源统一编排的趋势
Kubernetes的DRA（动态资源分配）机制允许工作负载以声明式方式请求专用设备，这标志着GPU等异构计算正逐步融入云原生资源模型。对平台团队而言，这意味着无需为AI单独维护一套基础设施，而是可以利用Kubernetes作为统一控制平面，灵活调度CPU、内存、存储和加速器，匹配工作负载各阶段的需求。
从组件思维转向系统思维
文章强调，AI基础设施不应被看作“GPU加辅助服务”，而应视为计算、内存、存储和网络协同工作的整体系统。平台工程师在设计时，需考虑数据预处理、模型加载、推理、后处理等各环节的资源依赖，而非孤立优化某个昂贵组件。只有围绕整个系统进行设计，才能将算力有效转化为生产力。
Q&A
为什么说AI基础设施不应只关注GPU？
因为生产级AI工作负载通常涉及数据准备、移动、应用逻辑、模型加载和服务等多个阶段，这些阶段依赖CPU、内存、存储和网络的协同工作。GPU虽然承担了大部分计算，但整体性能取决于整个路径，如果其他资源成为瓶颈，增加GPU也无济于事。
平台团队在管理AI工作负载时应该问什么问题？
平台团队应该问“每个阶段需要什么资源，以及它们之间的依赖关系是什么”，而不是“这个工作负载需要多少GPU”。这种转变有助于将工作负载作为系统来优化，而不是孤立地优化昂贵的组件。
AI推理流水线中，CPU和GPU分别承担什么角色？
在简化的AI推理流水线中，CPU负责预处理（如数据准备、tokenization）和后处理（如应用逻辑），GPU负责推理（如模型训练和推理）。CPU和GPU协同工作，整体性能取决于整个路径。
Kubernetes中的动态资源分配（DRA）有什么作用？
DRA扩展了Kubernetes的资源模型，提供了一种更灵活、声明式的方式让工作负载请求专用设备（如GPU）。它体现了专用计算正日益融入云原生资源模型的趋势，使平台团队能够统一编排异构资源。
为什么仅看GPU利用率不足以判断AI工作负载是否高效？
因为低GPU利用率可能意味着需求不足，但也可能表示加速器在等待CPU预处理、数据访问或调度等上游依赖。因此需要观察整个工作负载的链路，关联基础设施和应用遥测，才能识别瓶颈。
平台团队应如何设计AI基础设施？
平台团队应围绕整个系统设计，将AI基础设施视为互联的计算、内存、存储和网络资源的系统，而不是GPU的集合。通过Kubernetes等工具统一编排，并观察从CPU到GPU的完整链路，才能将算力转化为有效的AI基础设施。
