文章讨论小参数语言模型在搜推场景的推理优化，核心是在延迟约束下追求有效吞吐，而非单纯追求吞吐数字。压测应将超时请求计为失败，明确端到端延迟预算并区分排队与计算耗时；合批需权衡等待成本，压测应贴近真实请求分布并关注尾部延迟。工程上应设置调用超时、及时停止过期任务、限制重试并演练降级，通过小流量对照验证质量与资源消耗。