➡️
继续阅读
-
从AI代码到可信软件:工程约束的实践
文章探讨了“工程约束”如何通过仓库强制执行标准,确保AI生成代码的质量与问责。它强调权限、质量门、证据和可观测性,并描述了从辅助到自主的成熟度阶段。核心是...
-
九问ScienceDiscovery实现树搜索驱动RSI,加速科学发现,小时级写出通用积分器,低成本找出物理科学规律
openJiuwen社区的ScienceDiscovery平台通过树搜索自动迭代科研代码,无需训练模型或调整参数。它成功解决了振荡积分计算、高斯超几何函数...
-
华为云码道Space重磅公测:AI驱动泛研发提效,开启全民开发创造新时代!
华为云推出码道Space,一款面向泛研发场景的一站式AI工作台,融合AI专家与技能,覆盖软件开发、设计、数据分析、办公等场景,支持文档处理、全栈编码、代码...
-
显存账本:每张卡上住着什么,搬走付什么
本文介绍训练大模型时显存管理的通用记账方法。显存分为五类:权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定,激活随输入长度增长,优化空间...
-
数据并行与 ZeRO:三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeR...
-
流水线并行:1F1B、虚拟段与气泡
本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后,段间等待形成气泡。四代调度各改一点:GPipe先全前向再全反向,显存高;1F1B改交替...