Cohere推出了动态推测解码技术，能够根据显卡状态实时调整猜字数量，从而解决了固定数量导致的速度瓶颈。该技术在不同批次大小下优化性能，提升推理速度，特别是在强化学习和大模型服务中表现突出。动态方案确保在各种环境下的稳定性，避免了传统方法的速度波动问题，并已整合进vLLM框架，用户可直接受益。