Databricks
·
大型语言模型推理性能优化：最佳实践
💡
原文英文，约3800词，阅读约需14分钟。
📝
内容提要
本文介绍了优化大型语言模型（LLM）推理性能的关键因素和优化建议，包括批处理、延迟、内存带宽和量化等。文章还介绍了一些优化技术和如何选择硬件配置。最后，文章推荐使用Databricks Model Serving来开始使用LLM推理。
🎯
关键要点
- 大型语言模型（LLM）生成文本的过程分为两个步骤：预填充和解码。
- 生成的每个标记会被附加到输入中，并反馈到模型中以生成下一个标记。
- 推理速度的关键指标包括首次标记时间（TTFT）、每个输出标记时间（TPOT）、延迟和吞吐量。
- TTFT是用户输入查询后开始看到模型输出的速度，TPOT是生成每个输出标记所需的时间。
- 延迟是模型为用户生成完整响应所需的总时间，吞吐量是推理服务器每秒生成的输出标记数量。
- 在推理过程中，输出长度主导整体响应延迟，而输入长度对性能影响不大，但对硬件要求重要。
- 优化LLM推理的技术包括操作融合、量化、压缩和并行化。
- 内存带宽是LLM计算的关键，计算主要受限于矩阵乘法操作的内存带宽。
- 模型带宽利用率（MBU）是衡量推理服务器优化程度的新指标。
- 量化是一种常用的技术，可以减少LLM推理的硬件需求，但需谨慎实施以避免模型质量下降。
- 批处理是提高吞吐量的关键，静态批处理、动态批处理和连续批处理是常见的批处理技术。
- 在选择硬件配置时，应考虑模型类型和预期工作负载，以优化性能和成本。
- 使用Databricks Model Serving可以开始进行LLM推理。
➡️
