智能无限：在真实系统上使用近存储处理进行快速大型语言模型训练
内容提要
本研究提出了一种通过闪存存储模型参数以支持大型语言模型（LLMs）高效运行的方法，采用“窗口化”和“行列捆绑”技术显著提升推理速度。同时，研究探讨了并行和分布式机器学习算法，优化数据处理，并提出新型执行技术L2L，降低内存使用，提高吞吐量，推动人工智能的普及。
延伸解读
闪存扩展显存：突破DRAM容量限制
文章提出将模型参数存储在闪存中，使LLM能在两倍于可用DRAM容量的情况下运行。这为内存有限的设备提供了新思路，但需注意闪存的访问延迟可能影响实际性能，且技术依赖顺序数据访问优化。
窗口化与行列捆绑：推理加速的关键
通过重用已激活神经元减少数据传输的“窗口化”和利用闪存顺序访问的“行列捆绑”，CPU和GPU推理速度分别提升4-5倍和20-25倍。这些技术结合稀疏感知和硬件设计，但加速效果可能因模型结构和硬件配置而异。
L2L执行技术：降低内存与提升吞吐
L2L技术使用16GB V100设备可承载50亿参数模型，减少45%内存使用并提高40%吞吐量。这有助于在有限硬件上运行大模型，但需权衡计算效率，且可能不适用于所有模型类型。
并行训练与分布式优化
研究涉及并行和分布式机器学习算法，优化5个编码解码器LLM的预训练，并量化了DeepSpeed ZeRO阶段等并行方法的关系。这为大规模模型训练提供了参考，但实际部署需考虑通信开销和扩展性。
Q&A
如何通过闪存支持大型语言模型的高效运行？
通过将模型参数存储在 DRAM 之外，使用闪存来满足超出 DRAM 容量的需求。
‘窗口化’和‘行列捆绑’技术如何提升推理速度？
‘窗口化’通过重用已激活的神经元减少数据传输，‘行列捆绑’利用闪存的顺序数据访问能力增加数据块大小，显著提升推理速度。
L2L执行技术的优势是什么？
L2L技术减少了45%的内存使用量，并提高了40%的吞吐量，推动了人工智能的普及。
研究中提到的并行和分布式机器学习算法有什么应用？
这些算法优化了数据处理，特别是在预训练多个编码解码器LLM时，提高了效率。
该研究如何解决内存有限设备上的LLMs推理问题？
通过结合稀疏感知、上下文自适应加载和面向硬件的设计，优化了在内存有限设备上的LLMs推理。
研究中提到的推理速度提升具体是多少？
CPU的推理速度提升4-5倍，GPU的推理速度提升20-25倍。
