➡️
继续阅读
-
数据并行与 ZeRO:三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeR...
-
写给 TypeScript 工程师的 OpenClaw.NET 上手指南:用你熟悉的 TS 思维,跑起一个生产级 AI Agent - 张善友
OpenClaw.NET是一个开源的.NET AI Agent运行时,内核用C#编写,支持NativeAOT编译为单文件二进制,扩展层内置Node.js插...
-
AI时代学编程:别背语法了,学逻辑才是正经事!
AI时代学编程,重点不在背语法,而在学逻辑。文章通过实例说明,编程思维能帮人精确表达需求,避免AI误解。核心是掌握循环、条件、调试等基础概念,用结构代替模...
-
写给 Python 工程师的 OpenClaw.NET 上手指南:用你熟悉的 Python 思维,跑起一个生产级 AI Agent - 张善友
OpenClaw.NET 是一个用 .NET 编写的开源 AI Agent 运行时,内置鉴权、记忆、多渠道接入等功能,可编译为无依赖的单文件二进制。文章面...
-
Switchyard:NVIDIA的开源路由库
NVIDIA NeMo Switchyard是一个开源路由层,位于AI代理和模型之间,按请求智能选择模型以降低成本。教程演示了从随机路由到内容感知路由的升...
-
流水线并行:1F1B、虚拟段与气泡
本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后,段间等待形成气泡。四代调度各改一点:GPipe先全前向再全反向,显存高;1F1B改交替...