Kraken：高效多设备推理的内在并行转换器
内容提要
本研究评估了TPU在神经网络推理中的优势，显示其速度比CPU和GPU快15-30倍，能效显著提升。文章介绍了多种推理优化技术，如DeepSpeed Inference、FastCoT和ExFlow，以提高推理速度和吞吐量，降低延迟。Helix系统通过优化模型放置和请求调度，显著提升了服务吞吐量并降低延迟。
延伸解读
TPU推理优势的量化对比
文章指出，TPU在神经网络推理中比同期的Intel Haswell CPU和Nvidia K80 GPU平均快15-30倍，能效比GPU高近70倍，比CPU高200倍。这些数据来自2017年的评估，反映了专用ASIC在推理任务上的潜力。读者需注意，对比对象是较早期的硬件，实际性能会随硬件迭代而变化。
推理优化技术的多样性
文章列举了多种推理优化技术，如DeepSpeed Inference支持多GPU和异构内存，可处理大25倍的模型；FastCoT通过并行解码缩短推理时间近20%；ExFlow优化Mixture of Experts模型；Fiddler在单GPU上运行90GB的Mixtral-8x7B。这些技术针对不同场景，读者应根据模型规模和硬件条件选择。
系统级优化的吞吐量提升
Helix系统通过联合优化模型放置和请求调度，在异构GPU集群上将服务吞吐量提高2.7倍，并降低提示和解码延迟。这表明除了单点算法优化，系统级调度对LLM服务性能同样关键。读者在部署大规模模型时，可关注此类整体方案。
混合架构与推测解码的加速
Tandem transformers架构结合小型自回归模型和大型块模式模型，在预训练数据集上提升下一个标记预测准确性3.3%，速度比PaLM2-Otter快1.16倍。引入推测解码框架后，比单独使用PaLM2-Gecko快约1.14倍。这种架构为平衡准确性和速度提供了新思路。
Q&A
TPU在神经网络推理中相比CPU和GPU的优势是什么？
TPU在神经网络推理中比CPU和GPU快15-30倍，能效提升显著，TOPS/Watt比GPU提高近70倍，比CPU提高200倍。
DeepSpeed Inference的主要功能是什么？
DeepSpeed Inference是一个全面的转换模型推断系统，解决多样化转换模型在推断时的挑战，能够处理规模大25倍的模型并提供高吞吐量。
FastCoT如何提高推理效率？
FastCoT通过并行解码技术，使用大小可变的上下文窗口来同时进行解码，从而将推理时间缩短近20%。
ExFlow在推理过程中有什么优势？
ExFlow通过优化Mixture of Experts模型的推理过程，显著提升了推理吞吐量，并减少了跨GPU路由延迟。
Helix系统是如何提高服务吞吐量的？
Helix系统通过优化模型放置和请求调度，将服务吞吐量提高了2.7倍，并降低了提示和解码延迟。
Tandem transformers架构的主要特点是什么？
Tandem transformers架构结合小型和大型模型，提高预测准确性和推理速度，显示出对下一个标记预测准确性的3.3%改进。
