内容提要
文章指出,用AI写代码做出应用并不难,难的是构建能承受百万请求、兼顾速度与成本的可靠系统。作者推荐7本免费书籍:Chip Huyen的系统设计、Stas Bekman的工程手册、李博杰的AI智能体、Drobiazkin的LLM架构、Kiely的推理工程、Kyi的图解推理以及DeepMind的扩展模型,建议按需选读,并强调AI系统工程能力日益重要。
延伸解读
从演示到生产:AI系统工程的关键跨越
文章强调,用AI写代码做出能跑的应用并不难,难的是构建能承受百万请求、兼顾速度与成本的可靠系统。这需要关注推理延迟、GPU内存、部署、上下文管理以及流量增长后的表现。作者认为,知道如何让应用可靠、快速、安全且可负担,才是区分演示与生产系统的关键,因此AI系统工程能力正变得越来越重要。
七本书各有侧重,按需选读更高效
作者推荐的七本免费书覆盖不同层面:Chip Huyen的系统设计适合入门,Stas Bekman的工程手册可作参考,李博杰的AI智能体聚焦智能体工程,Drobiazkin的LLM架构侧重应用构建,Kiely的推理工程关注部署优化,Kyi的图解推理适合视觉学习者,DeepMind的扩展模型深入分布式训练与推理。作者建议不必通读,按当前工作选读,需要时再回看。
推理工程与扩展模型:应对高并发与大规模部署
对于关心部署和成本的读者,Kiely的《Inference Engineering》和DeepMind的《How to Scale Your Model》尤其相关。前者讲解批处理、量化、内存使用和延迟,解释为何模型对单用户正常但数百请求时吃力;后者以LLaMA 3为例,说明训练或服务大模型所需的内存、算力和资金,并涵盖TPU架构、模型分片和分布式训练。这些内容直接对应文章开头提到的高并发挑战。
Q&A
为什么说用AI写代码做出应用不难,但构建可靠的AI系统很难?
因为构建能承受百万请求、兼顾速度与成本的系统需要处理推理延迟、GPU内存、部署、上下文管理以及流量增长等问题,而不仅仅是让模型给出正确答案或完成任务。
有哪些免费书籍可以学习构建AI系统?
文章推荐了7本免费书籍:Chip Huyen的《Machine Learning Systems Design》、Stas Bekman的《Machine Learning Engineering Open Book》、李博杰的《AI Agents in Depth: Design Principles and Engineering Practice》、Aleksandr Drobiazkin的《The Architecture of AI Agents and LLM Systems》、Philip Kiely的《Inference Engineering》、Ted Kyi的《LLM Inference Illustrated》以及Jacob Austin等人的《How to Scale Your Model》。
对于初学者,应该从哪本书开始读?
建议从Chip Huyen的《Machine Learning Systems Design》开始,这本书适合初学者,将机器学习视为端到端问题,涵盖项目设置、数据管道、建模和服务四个阶段,并包含27个系统设计问题供练习。
如果想部署LLM并优化推理速度和成本,推荐读哪本书?
推荐Philip Kiely的《Inference Engineering》。这本书涵盖了从GPU和模型架构到服务软件和生产部署的整个推理栈,讲解了批处理、量化、内存使用和延迟等优化技术,以及如何选择硬件或服务设置。
构建AI智能体(Agent)应该参考哪本书?
可以阅读李博杰的《AI Agents in Depth: Design Principles and Engineering Practice》,这本书从“智能体是LLM、上下文和工具”的理念出发,涵盖上下文工程、记忆、RAG、工具集成和多智能体系统,并包含大量实践实验。另外,Aleksandr Drobiazkin的《The Architecture of AI Agents and LLM Systems》也专注于构建LLM应用,涵盖智能体架构和工程权衡。
这些书必须全部读完吗?应该如何选择?
不需要全部从头读到尾。建议根据当前工作内容选择匹配的书籍,其余的书可以在需要时再查阅。