提出KV Cache动态调节技术：部署时根据用户输入上下文动态调整显存占用，不再用--gpu-memory-utilization固定分配。按公式2GiB+tokens×87KiB计算，再按256MiB对齐。改动后Qwen 3.8 27B在512K与900K上下文下显存差距约30GB，可省出显存并行跑其他模型。

本文介绍了一种高效的内部层模型并行方法，用于训练大型语言模型，取得了在多个数据集上的先进结果。研究提出了多种优化技术和新型架构，如Mamba和GEB-1.3B，旨在提高模型的推理速度和资源利用率，尤其在移动设备上。结果显示，混合模型在多项任务上超越传统Transformer，推动了大规模语言模型的发展。

本文介绍了一种基于PyTorch和Caffe2的深度学习推荐模型，采用模型并行和数据并行技术以优化内存使用和计算效率。研究探讨了多核平台和异构内存架构HEAM，显著提升个性化推荐系统的性能和能效。此外，提出了MEM-REC和NicePIM等技术，以提高推荐系统的训练效率和降低能耗。

本文介绍了三种模型并行的训练方法：数据并行、张量并行和流水线并行。数据并行适用于大规模数据集的训练，将训练数据按batch维度划分到多个worker设备上并行计算。张量并行适用于巨大型模型，将模型的某些张量按行或列划分到不同设备上并行计算。流水线并行适用于序列数据的长模型训练，将整个模型按层划分为多个连续的阶段，每个阶段由一个设备负责计算。

本文汇总了多项机器学习系统研究：p-Meta实现IoT设备模型的高效少样本适应；Holmes为LLM提供异构网络可扩展训练框架；软硬件协同设计使大规模DLRM训练提速40倍；ScaML-GP以多任务核实现可扩展元学习；新并行方法支持万亿参数模型训练；分散系统利用消费级GPU协同训练大模型；DLRM模型并行缓解内存限制；元学习框架实现用户自适应模型选择；GPU缓存动态管理embedding表；层级潜变量模型提升元学习数据利用率。