本文分析了大模型推理的速度瓶颈，探讨了访存带宽与算力的关系。实测数据表明，推理速度受限于访存带宽，尤其在生成文本时，模型逐个处理token，导致并行性不足。以Mistral 7B为例，计算推理所需的最小时间，强调低精度量化可降低延迟。建议在设计推理系统时考虑访存带宽的影响，以优化性能。