Apple Machine Learning Research
·
面向低比特通信的张量并行大语言模型推理
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
本文介绍了一种量化方法，旨在提升大语言模型（LLM）在服务器上的推理效率。该方法将通信特征值从16位降低至4.2位，同时几乎保持原有性能，Gemma 2 27B和Llama 2 13B的性能分别为98.0%和99.5%。
🎯
关键要点
- 本文介绍了一种量化方法，旨在提升大语言模型（LLM）在服务器上的推理效率。
- 该方法将通信特征值从16位降低至4.2位，同时几乎保持原有性能。
- Gemma 2 27B和Llama 2 13B的性能分别为98.0%和99.5%。
- 张量并行性提供了一种有效的方法来提高服务器大语言模型的推理效率，但会增加通信成本。
- 随着服务器LLM规模的扩大，需要在更多设备上分布，从而放大通信成本。
- 当前的量化方法通常避免量化张量并行性所需的通信特征。
- 我们的方法利用了通信特征中的一致性异常值，成功实现了特征值的量化。
➡️
