本文探讨了大语言模型（LLM）推理中的成本、延迟和吞吐量之间的权衡，强调了硬件选择、模型架构和量化等因素对优化的影响。理解成本的多维特性和优化策略对于有效管理基础设施预算至关重要。通过合理的工程决策和基准测试，可以在吞吐量和延迟之间找到最佳平衡，以满足不同工作负载的需求。

研究团队推出了Prefill-as-a-Service（PrFaaS），旨在解决大模型推理中的跨机房调度问题。该架构通过将Prefill计算卸载到专用集群，并利用普通以太网传输KV Cache，显著提升了吞吐量和降低了延迟。实验结果表明，PrFaaS在吞吐量上提升54%，P90延迟降低64%，有效支持长上下文场景。

在Java 26中，G1垃圾收集器通过简化写屏障显著提升了吞吐量。本文探讨了区域、写屏障、并发标记和卡表等因素对吞吐量的影响，并指出G1将成为所有环境中的默认收集器。

Redis在2026年被评为Fast Company最具创新的公司之一。通过与LMCache的优化，Redis提升了大规模语言模型的缓存性能，KV缓存读取速度达到9-10 GB/s，显著提高了推理效率，帮助加速推理过程并降低成本。

基准测试显示数据库在高峰期的吞吐量良好，但持续吞吐量更为关键。随着数据量增加，自动清理等维护过程可能滞后，导致性能下降。因此，应关注持续吞吐量上限，并监测自动清理和检查点压力等指标，以防止未来问题。

NVIDIA推出的Nemotron 3 Super模型拥有1200亿参数，支持复杂多智能体系统，具备高效推理能力和1百万token的上下文窗口，避免目标漂移，广泛应用于多个行业，提升工作效率，支持开发者自定义和部署。

在构建软件系统时，确保高吞吐量至关重要。吞吐量是指系统在特定时间内完成的工作量，与延迟不同。高吞吐量意味着在相同时间内处理更多事务，但可能导致延迟增加。通过批处理可以提高吞吐量，但会增加等待时间。本文探讨了构建高效系统的基本概念和策略。

DeepSeek推出的DualPath推理框架通过引入存储至解码引擎的路径，解决了I/O瓶颈，离线推理吞吐量提升1.87倍，在线服务提升1.96倍，有效利用闲置带宽，显著降低延迟。

为了实现生产级LLM推理，我们优化了整个服务堆栈，构建了高效的推理镜像。测试显示，使用2个H100 GPU时，吞吐量提高了143%，每百万个token的成本降低了75%。这种优化使得在更少的GPU上实现高效推理成为可能。

DeepSeek-V3.2在GB300上成功运行，使用FP4量化在预填充场景中实现7360 TGS的吞吐量。与DeepSeek-R1相比，V3.2在推理性能上仍有提升空间。B300系列在预填充和混合场景中表现出显著性能提升，尽管V3.2引入了新索引器，但预填充阶段的吞吐量仍低于R1，未来有优化潜力。

生产级LLM推理面临复杂的系统挑战，需要硬件与软件的深度协同设计。推理过程分为预填充和解码两个阶段，前者计算密集，后者内存密集。关键指标包括首次令牌时间（TTFT）、每输出令牌时间（TPOT）和请求吞吐量（RPS）。优化需在延迟、吞吐量与并发性之间取得平衡，以提升性能并降低成本。

Workflow 4.1 Beta通过事件源模式改进了工作流状态跟踪，状态变化以事件形式存储，提升了可靠性和审计能力。新版本支持更高吞吐量和提供者执行工具，增强了与NestJS的集成。

Uber工程师改进了分布式存储平台，采用优先级感知的负载管理系统，动态调整流量，优先处理关键请求，从而显著提高吞吐量和降低延迟。关键经验包括优先处理用户流量、早期拒绝请求和动态适应工作负载。