Apple Machine Learning Research
·
闪存中的LLM：有限内存下的大型语言模型高效推理
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了一种有效运行超过可用DRAM容量的大型语言模型（LLMs）的方法，通过将模型参数存储在闪存中，并按需将其传输到DRAM中来解决计算和内存需求的挑战。作者构建了推理成本模型，考虑了闪存特性，引入了窗口化和行列捆绑两种主要技术。这种方法使得模型可以在可用DRAM容量的两倍大小下运行，并且相比于CPU和GPU的朴素加载方法，推理速度分别提高了4-5倍和20-25倍。
🎯
关键要点
- 大型语言模型（LLMs）在现代自然语言处理中的重要性及其计算和内存需求的挑战。
- 本文提出通过将模型参数存储在闪存中，并按需传输到DRAM中，来有效运行超出可用DRAM容量的LLMs。
- 构建了推理成本模型，考虑闪存特性，优化数据传输和读取方式。
- 引入了两种主要技术：窗口化和行列捆绑，分别减少数据传输量和增加读取数据块的大小。
- 这种方法使得模型可以在可用DRAM容量的两倍大小下运行，推理速度相比于CPU和GPU的朴素加载方法分别提高了4-5倍和20-25倍。
- 整合稀疏性意识、上下文自适应加载和硬件导向设计，为在内存有限的设备上有效推理LLMs铺平了道路。
➡️
