推理时注意力架构由训练好的检查点固定，不能随意替换。多头注意力为每个查询头存储键值，内存占用最大；分组查询注意力和多查询注意力通过共享键值头显著缩小KV缓存；滑动窗口注意力只保留最近令牌，使局部层缓存有界；多头潜在注意力则压缩键值表示。推理引擎只能调整缓存布局、精度和内核，无法改变逻辑注意力行为。因此应根据检查点估算每令牌缓存字节，进而推算服务容量。