BriefGPT - AI 论文速递 · 2024-06-28T00:00:00Z FRED: 适用于芯片尺度分布式深度学习模型训练的灵活缩减分发互连和通信实现 📝 内容提要 提出了 FRED，这是一个面向片上网络的高带宽要求而量身定制的片上互连，可有效执行不同并行化策略的通信模式，并且通过大约 2 倍降低网络流量，改善了 ResNet-152，Transformer-17B，GPT-3 和 Transformer-1T 的平均端到端训练时间。 🏷️ 标签 分布式 深度学习 芯片 阅读原文 生成长图 分享链接 已复制链接
