内存高效的卸载迷你序列推断用于长上下文语言模型

本研究针对长上下文语言模型在推理过程中高GPU内存需求的问题，提出了一种新方法——内存高效的卸载迷你序列推断（MOM）。该方法通过将关键层分割成较小的“迷你序列”，并与KV缓存卸载集成，能够减少50%以上的峰值内存使用并显著延长单个GPU的最大上下文长度。这一创新不仅保持输出一致性和准确性，还优化了资源利用，为后续研究指明了新的方向。