推理软件栈的微小差异（如注意力后端、KV缓存量化、权重量化、张量并行度）会导致本地部署的大模型在长上下文中输出不同token，甚至工具调用失败。实验显示，INT4 KV缓存和NVFP4量化翻转率最高，而BF16和特定INT8方案更稳定。这些数值漂移累积后，模型可能做出致命错误决策，且难以排查。

NVIDIA的推理软件栈通过与GPU、CPU和开源生态系统的协同，显著降低了每个令牌的成本。使用TensorRT-LLM和Dynamo框架，企业如Baseten和Cognition实现了高达50%的令牌输出提升，优化了生产操作并降低了成本。开源生态系统使新模型如DeepSeek V4能够快速部署并进一步降低成本。