Andes: 在基于 LLM 的文本流媒体服务中定义和增强用户体验质量
原文中文,约300字,阅读约需1分钟。发表于: 。Andes 是一种以 QoE 为导向的服务系统,旨在提高基于大型语言模型的文本流式服务的用户体验,并通过在 GPU 资源之间的战略分配来优化 QoE。与 vLLM 等现有的 LLM 服务系统相比,Andes 在高请求率下可将平均 QoE 提高高达 3.2 倍,或者以高 QoE 为前提达到高达 1.6 倍的请求率。
Andes是一种以QoE为导向的服务系统,旨在提高基于大型语言模型的文本流式服务的用户体验,并通过在GPU资源之间的战略分配来优化QoE。与现有的LLM服务系统相比,Andes在高请求率下可将平均QoE提高高达3.2倍,或者以高QoE为前提达到高达1.6倍的请求率。