【大模型基础设施工程】01：大模型基础设施全景 —— 训练、推理、RAG、Agent、观测
💡
原文中文，约22900字，阅读约需55分钟。
📝
内容提要
本文探讨了大模型基础设施的必要性与发展历程，强调大模型的特点，如计算和内存密集、状态重、故障常态化及高成本。系列文章将涵盖从硬件到应用的五层模型，帮助工程师理解大模型的工程化过程及其挑战。未来的工程创新将是降低成本的关键，推理侧的重要性将超过训练侧。
🎯
关键要点
-
大模型基础设施是一个独立的工程学科，具有计算和内存密集、状态重、故障常态化及高成本等特点。
-
大模型的生命周期长，涉及预训练、微调、推理等多个阶段，要求将其视为独立的基础设施领域。
-
未来的工程创新将是降低成本的关键，推理侧的重要性将超过训练侧。
-
大模型工程正在快速发展，形成了可复用、可量化的工程组件，推动了推理服务化市场的形成。
-
大模型的工程栈可以分为五层：硬件、系统软件、框架、应用和运营，每一层都有其独特的工程挑战和解决方案。
-
推理和训练在工程上存在显著差异，推理侧的算力消耗正在快速增长，推理集群的规模将成为LLM公司的基础设施核心。
-
开源基础设施已经足够支撑严肃的LLM平台，未来的工程创新将依赖于系统级的协同设计。
❓
延伸问答
大模型基础设施的特点是什么？
大模型基础设施具有计算和内存密集、状态重、故障常态化及高成本等特点。
大模型的生命周期包括哪些阶段？
大模型的生命周期包括预训练、微调、推理等多个阶段。
推理和训练在工程上有什么显著差异？
推理和训练在算力消耗、状态管理和故障模型等方面存在显著差异，推理侧的算力消耗正在快速增长。
未来大模型工程的创新方向是什么？
未来的工程创新将集中在降低成本，推理侧的重要性将超过训练侧。
大模型工程栈分为哪几层？
大模型工程栈分为五层：硬件、系统软件、框架、应用和运营。
开源基础设施在大模型平台中有什么作用？
开源基础设施已经足够支撑严肃的LLM平台，推动了推理服务化市场的形成。
➡️
