➡️
继续阅读
-
如何选择 RTC 推流的编码格式?
本文探讨RTC推流编码格式选择,指出H.264兼容性最广,适合作为默认格式;H.265节省带宽但兼容性差;VP8适用于WebRTC;AV1尚未普及。音频方...
-
如何构建默认安全的AI编码代理
Anaconda工程副总裁Greg Jennings探讨构建安全默认的AI编码代理,强调提示词不应作为严格安全护栏,并分享通过战略收购保障AI软件供应链安全的方法。
-
数据并行与 ZeRO:三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeR...
-
流水线并行:1F1B、虚拟段与气泡
本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后,段间等待形成气泡。四代调度各改一点:GPipe先全前向再全反向,显存高;1F1B改交替...
-
在实地录音中探索全球
Earth Garden是一款基于Freesound环境音频的互动应用,灵感源自Radio Garden,让用户通过旋转地球聆听全球各地的实地录音,如海浪...
-
并行策略总览:六个维度各切什么、怎么通信
本文介绍大模型并行训练的核心概念,将DP、TP、SP、PP、EP、CP六种并行方式按切分维度、显存减少、通信开销和等待关系列表对比。并行本质是切分模型并引...