推理工程是高效训练AI模型的学科，涉及GPU代码、模型服务框架和云基础设施。随着开放模型的兴起，企业开始自托管模型，以降低延迟和成本。推理过程分为预填充和解码两个阶段，受计算和内存带宽限制。优化技术包括批处理、前缀缓存、量化、推测解码、并行处理和解耦，旨在提升性能。企业在API成本上升或延迟需求增加时，考虑投资推理工程。