内容提要
DeepSeek联合清华发布DSec沙盒基础设施,支撑DeepSeek-V4全部训练与评测。该设施支持四种执行后端,通过EROFS镜像按需加载、可组合环境层和高密度资源管理,将8192容器创建时间从60多分钟缩短至35分钟,内存峰值降低40%。DSec还实现轨迹分叉与细粒度安全控制,单分片日服务约300万沙盒。
延伸解读
从V4.1开始,Agent执行逻辑迁出GPU训练Pod
文章指出,早期Agent执行循环与GPU训练任务同处一个Pod,训练被抢占后环境虽在,但执行循环终止,恢复需重放命令日志,协调复杂。从DeepSeek-V4.1起,执行逻辑迁入DSec沙盒,拆分为Agent沙盒与工作容器,两者部署在可被抢占的GPU资源池之外,共同保存进度和环境状态。这样GPU训练被抢占时,Agent执行状态仍完整保留,恢复后可从断点继续。
镜像按需加载与可组合层:实测加速与写入下降
DSec将环境拆为基础镜像、工作区和工具包,用EROFS存储并按需组合。生产数据显示,沙盒运行时实际访问数据仅占镜像总大小的4.2%至13.3%,因此只拉取元数据、数据按需读取。集中创建8192个容器时,任务完成时间从60多分钟缩短至约35分钟,加速比约1.71,磁盘写入量减少约57%。工作区从解压tar.gz改为挂载EROFS层,完成时间从79分钟降至45分钟,写入总量约为原来的1/5.5。
高密度部署依赖内存共享与回收,但安全仍有边界
Agent训练中约90%沙盒平均CPU用量不超过申请量的5%,内存却需持续驻留,生产超卖率超过50倍。DSec通过virtio-pmem与DAX让同宿主机MicroVM共享页缓存,峰值内存较基线下降40.2%;结合DAMON与balloon空闲页报告,累计内存消耗下降21.2%。安全方面,AppArmor约束文件与套接字访问,eBPF实施网络白名单,但文章承认对触发内核缺陷等破坏性行为仍缺乏通用防御。
Q&A
DeepSeek的DSec是什么?它主要用来做什么?
DSec(DeepSeek Elastic Compute)是DeepSeek弹性计算沙盒基础设施,支撑DeepSeek-V4全部训练、评测与数据预处理流程,为Agent大模型提供在真实环境中反复试错的运行环境。
DSec支持哪些执行后端?分别适用于什么场景?
DSec支持四种执行后端:FnCall复用预创建容器,处理在线评测等短任务;Container启动快、部署密度高,服务通用软件工程和工具调用;MicroVM提供更强隔离,适用于安全任务;Full VM提供完整操作系统环境,支持图形界面、渲染和Android等应用。
DSec如何优化镜像加载和存储,效果如何?
DSec将环境拆分为基础镜像、工作区和工具包,使用EROFS格式存储并支持按需加载,通过OverlayFS组合。实验显示,集中创建8192个容器时,按需加载将任务完成时间从60多分钟缩短至约35分钟,加速比约1.71,磁盘写入量减少约57%;工作区从解压tar.gz改为挂载EROFS层后,任务完成时间从79分钟缩短至45分钟。
DSec如何实现高密度资源管理?内存优化效果怎样?
DSec利用virtio-pmem与DAX让同一宿主机上的MicroVM共享宿主页缓存,单独启用可使峰值内存用量较基线下降40.2%;结合DAMON与balloon空闲页报告机制,按时间累计的内存消耗下降21.2%。生产环境超卖率超过50倍。
DSec在Agent训练中如何保证执行状态的连续性?
从DeepSeek-V4.1开始,DSec将Agent执行逻辑迁移到沙盒中,拆分为Agent沙盒和工作容器协同完成,两者部署在可被抢占的GPU资源池之外,共同保存执行进度和环境状态。因此GPU训练任务被抢占时,Agent执行状态仍能完整保留,训练恢复后可从中断处继续。
DSec如何支持轨迹分叉和环境构建?
DSec引入pack_diff打包机制,Agent可指挥平台对沙盒创建增量快照,未来恢复为新沙盒。增量快照可用于轨迹分叉:在第k步保存快照,从同一状态恢复出多个沙盒分别继续探索,各分支共享只读层并只记录变更,避免重复执行分叉前步骤。
DSec采取了哪些安全措施来约束Agent行为?
DSec将细粒度访问控制作为基础功能:通过AppArmor约束文件读写和套接字访问,即使智能体以管理员身份运行限制依然有效;通过eBPF为每个沙盒执行网络访问白名单,限制可连接的地址、端口和协议。但对于触发内核缺陷等破坏性行为,目前仍缺乏通用防御机制。
DSec的横向扩展能力和生产规模如何?
DSec以分片形式横向扩展,每个分片约160台服务器,提供约3万个CPU核心和250 TB内存。单个分片每天服务约300万个沙盒,峰值并发超过38万个,每秒可创建超过5000个沙盒。生产环境部署多个分片,可支持数百万个沙盒同时运行。