重新审视大语言模型服务中的SLO和良吞吐量指标

本研究解决了现有大语言模型（LLM）服务中指标无法反映用户体验的问题。我们提出了一种统一的指标框架，包括SLO和良吞吐量，通过参数设置适应不同任务的特定目标。该框架为未来LLM服务优化提供了潜在方向，并旨在为该领域提供统一的评估标准。