并行策略总览：六个维度各切什么、怎么通信

并行策略总览：六个维度各切什么、怎么通信
Java不加糖's Blog Java不加糖's Blog ·
使用Micro-DDP扩展您的AI模型

使用Micro-DDP扩展您的AI模型
freeCodeCamp.org freeCodeCamp.org ·
使用张量并行在多个GPU上训练大型模型

使用张量并行在多个GPU上训练大型模型
MachineLearningMastery.com MachineLearningMastery.com ·
如何使用模型并行微调大型语言模型（LLM）

如何使用模型并行微调大型语言模型（LLM）
DEV Community DEV Community ·

本文介绍了一种高效的内部层模型并行方法，用于训练大型语言模型，取得了在多个数据集上的先进结果。研究提出了多种优化技术和新型架构，如Mamba和GEB-1.3B，旨在提高模型的推理速度和资源利用率，尤其在移动设备上。结果显示，混合模型在多项任务上超越传统Transformer，推动了大规模语言模型的发展。

Jamba-1.5：大规模混合Transformer-Mamba模型
BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

本文介绍了一种基于PyTorch和Caffe2的深度学习推荐模型，采用模型并行和数据并行技术以优化内存使用和计算效率。研究探讨了多核平台和异构内存架构HEAM，显著提升个性化推荐系统的性能和能效。此外，提出了MEM-REC和NicePIM等技术，以提高推荐系统的训练效率和降低能耗。

UpDLRM: 使用真实世界的 PIM 架构加速个性化推荐
BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

本文介绍了三种模型并行的训练方法：数据并行、张量并行和流水线并行。数据并行适用于大规模数据集的训练，将训练数据按batch维度划分到多个worker设备上并行计算。张量并行适用于巨大型模型，将模型的某些张量按行或列划分到不同设备上并行计算。流水线并行适用于序列数据的长模型训练，将整个模型按层划分为多个连续的阶段，每个阶段由一个设备负责计算。

模型并行训练技术
陈少文的博客 陈少文的博客 ·
👤 个人中心
在公众号发送验证码完成验证