评估整个推理栈——而不仅仅是开源模型基准
内容提要
公开基准仅反映模型最优表现，无法保证生产环境中的稳定准确。Nebius的Wang建议结合内部基准与真实工作流评估开源模型，并关注整个推理栈，包括缓存命中率、吞吐与并发、P95/P99延迟和首字延迟。模型并非越大越好，应平衡精度与规模，必要时拆分任务或微调小模型。
延伸解读
公开基准的局限：最优表现不等于生产稳定
文章指出，公开基准只反映模型的最优表现，无法保证生产环境中的重复准确。Nebius的Wang强调，生产中还涉及输入信息、任务准确性等因素，基准无法告诉工程师AI能否完成任务。尤其对长周期任务，需结合内部基准和真实工作流评估，否则可能错配智能体任务与推理成本。
推理栈关键指标：缓存、吞吐与尾延迟
Wang建议关注整个推理栈，包括缓存命中率、吞吐与并发、P95/P99延迟和首字延迟。缓存系统应针对生产流量最大化命中率，避免重复计算。吞吐与交互性需平衡：高并发可降成本，但可能降低每用户生成速度。尾延迟尤其重要，部分客户要求首字延迟低于5秒，平均响应好但个别请求卡顿仍不可用。
模型规模并非越大越好：寻找精度与成本平衡点
文章以客服任务为例，指出100亿参数可能足够，1000亿甚至万亿参数精度提升有限。Nebius用6000条轨迹微调小模型，精度提升11%且工具调用减少22%。工程师可以大模型为参考，扫描多个模型找规模甜点，或将复杂任务拆分为子任务，用小模型分工完成，从而平衡精度与推理成本。
Q&A
为什么公开基准测试结果不能保证开源模型在生产环境中的表现？
公开基准仅反映模型的最优性能，而生产环境要求模型能稳定、重复地完成任务。基准测试无法评估模型在实际工作流中的准确性，也无法覆盖多领域任务和上下文学习需求，因此不能保证生产环境中的稳定准确。
评估开源模型时，除了行业基准，还应该结合哪些内部评估方法？
应结合内部基准和测试工具，利用客户自己的代理工作流及其轨迹来定义基准，并与客户紧密合作，确保推理结果符合组织要求。
推理栈中需要关注哪些关键性能指标？
需要关注缓存命中率、吞吐量与并发、P95/P99延迟和首字延迟（TTFT）。其中TTFT对于某些客户需低于5秒，尾延迟比平均延迟更重要。
如何平衡模型规模与精度？模型是否越大越好？
模型并非越大越好，精度增益随规模增大而递减。对于客服等任务，100亿参数可能足够，1000亿甚至万亿参数带来的精度提升微乎其微。应找到精度与规模的平衡点，必要时拆分复杂任务或微调小模型。
如何通过微调小模型来提升特定任务的准确率？
使用组织数据对模型进行后训练微调，可以提高准确性和任务契合度。例如Nebius收集6000条轨迹微调一个小模型，准确率提升11%，同时工具调用次数减少22%。
在生产环境中，如何优化推理速度并平衡成本与交互性？
通过服务层优化、量化、批处理、缓存和内核优化来提升推理速度。同时要最大化缓存命中率，避免重复计算；合理设置并发以平衡吞吐量与每用户令牌速度，确保尾延迟（P95/P99）和首字延迟满足要求。
