该文综述大语言模型高效推理的多项技术：INT4纯权重量化与专用运行时加速CPU推理；PowerInfer利用激活局部性实现GPU-CPU混合推理，降低显存需求；FlightLLM基于FPGA实现高能效推理；多维分区与低级优化提升生成效率；简化结构、融合操作与段落KV缓存降低延迟；LMFlow简化微调与推理；InferLine自动配置预测流水线；FastServe以抢占式调度降低延迟；DeepSpeed Inference支持超大规模异构推理；SPEED并行预测多令牌提升效率。