从说明书到 3D 安装视频:用 Kiro Crew 指挥 GPU 上的 Codex(基于 Amazon Bedrock 与 Amazon Polly)

从说明书到 3D 安装视频:用 Kiro Crew 指挥 GPU 上的 Codex(基于 Amazon Bedrock 与 Amazon Polly)

💡 原文中文,约12600字,阅读约需30分钟。
📝

内容提要

本文介绍如何用Kiro Crew与Codex两个智能体协作,将家居安装说明书自动生成3D安装视频:Kiro Crew在协调实例上拆分任务、派活与验收,Codex在GPU渲染实例上通过Amazon Bedrock调用模型建模、用Amazon Polly配音、渲染并自检。流程分为读资料、配音排时间轴、摆放动画、预览、正式渲染、交付六个阶段,并总结了背景、碰撞检查、防穿模等实践问题及成本与适用范围。

🔎

延伸解读

分工与权限隔离是方案的核心设计

文章把流程拆成协调实例上的Kiro Crew与GPU渲染实例上的Codex两个角色,前者只派活、读报告、验收,后者只执行建模、配音、渲染。这种分工不只是效率考虑,更带来权限隔离:协调实例不能写脚本,渲染实例没有云资源管理权限,两边出问题影响范围都有限。每个阶段都有任务单和报告,返工原因和人工决策可追溯,长渲染任务也不必保持会话。

自动检查能发现几何问题,但不能替代人工审核

方案在预览阶段用脚本逐帧做碰撞检查、悬空检测和离墙间隙测量,能发现“顶横梁半空交叉”“刀尖穿进横梁”这类人眼难察觉的问题。但文章明确提醒,自动检查只能发现几何问题,不能证明安装方法正确。零件数量、安装顺序和防倾倒等安全操作,仍须对照原始说明书人工审核。动画能正常播放,不代表结构就是对的。

GPU容量与渲染时长是实际落地的主要变数

实践中g6、g5、g6e在同一可用区多次报容量不足,最终用g4dn.xlarge(T4)才开起来,部分渲染还临时改用c7i CPU实例。文章建议提前准备备选机型列表,允许协调端在列表内切换。成本方面,1080p版本757帧在T4上渲染约76分钟,720p约25分钟;费用还包含模型调用、Polly、EBS、S3、CloudFront等,实例停止后部分资源仍可能计费。

适用范围与安全边界需要提前明确

该方案适合用已有产品资料辅助制作装配演示视频,但图纸不完整、结构被遮挡或尺寸冲突的产品需要人工补充资料,生成的模型也不能代替原始工程文件或用于制造加工。安全上,Codex会处理外部资料并运行自己生成的脚本,应运行在隔离的渲染实例沙箱中并限制出站范围,跳过审批或关闭沙箱不应作为通用设置。

❓

Q&A

如何用两个智能体把家居安装说明书自动生成3D安装视频?

由运行在协调实例上的Kiro Crew负责拆分阶段、派发任务和验收报告,运行在GPU渲染实例上的Codex负责通过Amazon Bedrock调用模型读资料、写Blender脚本、调用Amazon Polly配音、渲染并自检。两者按“派活→干活→交报告→验收”的闭环推进六个阶段:读资料、配音排时间轴、摆放动画、预览、正式渲染、交付。

Kiro Crew和Codex各自负责什么,权限怎么隔离?

Kiro Crew像项目经理,只拆分阶段、给Codex派任务、读报告验收、退回返工、组织人工审核和启停渲染实例,不写建模脚本也不直接运行Blender或Polly。Codex像工程师,通过Bedrock调用模型读资料、写Blender脚本、调用Polly配音、渲染并自检,写出阶段报告,但不启停实例、不变更云资源。权限原则是协调实例只能派活,渲染实例只能干活,两者都通过IAM角色获取临时凭证。

生成一个安装视频具体分哪几个阶段,每个阶段产出什么?

共六个阶段:1.读资料,产出零件清单(编号、数量、对应步骤、尺寸来源);2.配音和时间轴,调用Polly为每步生成英文旁白并按旁白时长排时间轴;3.摆放和动画,写Blender脚本让零件平铺并按手册顺序装好,自动检查碰撞数为0、不悬空、离墙间隙;4.预览,渲染关键帧静帧和抽帧总览图,Kiro Crew验收,不通过返工,通过后交人审核;5.正式渲染,用GPU出带字幕、旁白和背景音乐的成片;6.交付,输出视频、工程文件、问题清单并停机。

实践中容易遇到哪些坑,怎么解决?

常见问题包括:用360°全景照片当背景会导致相机移动时墙和窗框变形,应改用真实3D房间模型或固定相机在全景拍摄点;零件穿插或悬空需用脚本自动检查(统一米制、射线测地面高度、平面占位图、碰撞检测、实测离墙间隙);防穿模可去掉画面中的安装工具、同一步搬运多个零件时错开约10 cm高度、路径分“抬高→横移→直线装入”三段;标注放在后期合成而非3D场景;GPU机型可能容量不足,需准备备选机型列表。

这个方案的成本和适用范围是怎样的,有哪些限制?

费用由模型调用、Amazon Polly、GPU实例、EBS、S3、CloudFront和出站流量组成,评估时需按同一任务记录各项用量并区分模型推理、渲染和人工审核时间,实例停止后EBS和NAT网关等仍可能计费。适用范围是借助已有产品资料辅助制作装配演示视频;图纸不完整、结构被遮挡或尺寸冲突的产品需人工补充资料,生成的模型不能代替原始工程文件,也不能用于制造加工。自动检查只能发现几何问题,零件数量、安装顺序和防倾倒等安全操作必须对照原始说明书人工审核。

渲染实例上需要准备哪些软件和环境?

需要GPU实例(如g6.xlarge,NVIDIA L4 23 GB,并准备g6/g5/g6e/g4dn等备选机型)、带NVIDIA驱动和CUDA的系统镜像(如Amazon Linux 2023、驱动595.91、CUDA 13.2)、足够磁盘空间(逐帧PNG和工程文件)、Codex CLI(支持Amazon Bedrock provider的版本)、固定版本的Blender(如4.5.10 LTS)、含libx264的FFmpeg、AWS CLI v2,以及能访问S3、Systems Manager、Bedrock、Polly的网络和相应IAM权限。

🏷️

标签

➡️

继续阅读