DynamoLLM: 对性能和能效进行设计的 LLM 推断集群
内容提要
本文研究了大型语言模型（LLMs）推理服务的能源效率，提出了一种混合数据中心模型，通过动态分配硬件加速器降低能耗，能耗降低7.5%。同时，介绍了ServerlessLLM系统，推理性能显著提高，延迟比现有技术快10-200倍。此外，研究还探讨了在SQL查询中优化LLM调用的方法，提升了4.4倍的延迟性能。
延伸解读
能效与性能的权衡
文章探讨了LLM推理服务中延迟、吞吐量和能源之间的平衡。通过混合数据中心模型，根据查询的输入输出标记数量动态分配任务到能效处理器或高性能GPU，实现了CPU+GPU能耗降低7.5%。这表明在实际部署中，工作负载感知的调度策略能有效提升能源效率，为可持续LLM部署提供参考。
ServerlessLLM的延迟优势
ServerlessLLM通过优化检查点加载、基于本地化的推理和实时迁移，显著提升了推理性能。实验显示，其延迟比现有技术系统快10-200倍。这一改进主要得益于高效的检查点格式和服务器分配策略，使得在运行不同语言模型工作负载时能保持低延迟，为无服务器推理提供了新思路。
SQL查询中的LLM调用优化
研究首次明确解决了在SQL查询中优化LLM调用的问题。通过重排行和列以最大化KV缓存重用，并去重复冗余推断请求，在Apache Spark中实现后，端到端延迟提高了4.4倍。这对于集成LLM的数据库应用具有重要意义，能显著提升查询效率。
CPU推理的加速方案
针对CPU上LLM推理的瓶颈，ScaleLLM通过定制优化，在64个并发请求下比vLLM提速4.3倍，吞吐量优势1.5倍。同时，自动INT4权重量化和优化内核的设计，展示了在CPU上高效部署LLM的可行性，为资源受限环境提供了实用方案。
Q&A
DynamoLLM如何提高大型语言模型的能源效率？
DynamoLLM通过动态分配硬件加速器，采用混合数据中心模型，降低能耗7.5%。
ServerlessLLM系统的性能优势是什么？
ServerlessLLM的推理性能比现有技术快10-200倍，显著降低延迟。
如何在SQL查询中优化LLM调用？
通过重排行以最大化KV缓存重用和去重复冗余请求，提升了4.4倍的延迟性能。
DynamoLLM在CPU上的推理性能如何优化？
通过定制优化和分析瓶颈，ScaleLLM在64个并发请求下比vLLM提速4.3倍，吞吐量提高1.5倍。
DynamoLLM的混合型数据中心模型有什么特点？
该模型使用基于成本的调度框架，动态分配不同能效和计算能力的硬件加速器。
DynamoLLM如何提升系统的吞吐量？
通过简化模型结构和使用段落KV缓存策略，提升了27倍的吞吐量。
