作者在移植60多个AI模型后总结：单流解码首选TensorFold，速度是vLLM的1.3至3倍，DeepInfer潜力相当；高并发场景选vLLM和SGlang，配合DFlash2后单流表现也优秀，两者差别不大，SGlang跟进新模型更快；Strata仅适合32GB小显存的消费级显卡，在128GB设备上解码速度不足vLLM一半，不建议使用。

DeepSeek以Apache 2.0协议开源生产环境推理框架DeepInfer，支持在自有基础设施上运行V4.1 Flash模型，包含优化计算内核、通信库、投机解码与异步调度等组件；同时开源deepseek-recipe库以帮助复现官方API行为。该框架支持英伟达SM100及华为昇腾950 NPU，但部分功能仅限英伟达，且尚缺KV缓存管理等完整生产组件。

DeepSeek正式开源大规模云服务推理框架DeepInfer，并同步开源生产级Token编解码组件Deepseek-recipe，与官方API逻辑对齐。基于DeepInfer，DeepSeek V4.1 Flash实现高吞吐、低延迟推理，单集群日吞吐达155万亿Tokens，每卡每小时收入38美元。该框架集成高性能算子，支持分布式推理、推测解码等，兼容英伟达与华为昇腾平台，未来新模型推理代码将持续更新。

IBM、Red Hat和Google Cloud在2026年KubeCon欧洲大会上宣布将开源推理框架llm-d捐赠给云原生计算基金会（CNCF）。llm-d旨在通过Kubernetes简化大语言模型的推理，支持多种加速器，提高效率并降低成本。该框架提供可重复的基准测试和兼容性，推动AI推理成为云原生基础设施的重要组成部分。

DeepSeek推出的DualPath推理框架通过引入存储至解码引擎的路径，解决了I/O瓶颈，离线推理吞吐量提升1.87倍，在线服务提升1.96倍，有效利用闲置带宽，显著降低延迟。

Mini-SGLang是一个轻量级、高性能的大语言模型推理框架，旨在简化复杂推理系统。它支持本地和在线部署，兼容OpenAI接口，具备高性能、可读性和多场景应用，适合大规模推理与测试。

Mini-SGLang是一个轻量级高性能推理框架，旨在简化大型语言模型的推理系统，支持本地和在线部署，提供OpenAI兼容API，适合大规模在线推理和批量测试。

vLLM-Omni是一个高效的推理框架，支持文本、图像、视频和音频输入，具备低延迟执行能力。它适用于多模态助手、大规模媒体处理和实时多媒体应用，支持非自回归架构和并行生成模型。

本文介绍了一种实时检测大规模数据集异常的推理异常检测框架（RADF）。该框架利用自动化算法选择和超参数调优技术（mSelect），具备快速分类和根本原因确定的能力。实验结果显示，RADF在多个公共基准数据集上的AUC值超过0.85，优于现有模型，证明了其在异常检测中的有效性。

调度系统通过GPU加速运筹学和机器学习算法，提升了性能和稳定性。为解决性能、稳定性和扩展性问题，采用TritonServer推理框架进行二次开发，优化计算任务调度。经过多次架构迭代，构建了高性能、可扩展的OR+ML混合推理框架，未来将支持不同GPU型号及多级缓存和分布式推理。