本文聚焦推理服务的算子层：框架决定请求形状与KV布局，算子决定设备成本。需区分Prefill与Decode，分别关注算力与带宽。对比Attention实现（FA、FlashInfer、cuDNN等）应分层看算法、库与引擎集成，并核对版本支持。GEMM、量化、MoE及采样各有陷阱，如小M需辨权重带宽与launch开销，结构化输出常回退CPU。排障应先查引擎日志中的实际backend，再用profiler定位kernel，最后改配置。