💡
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
AI 原生基础设施强调算力治理的重要性，以确保资源后果可控，避免成本失控。治理应涵盖预算、计量、共享与隔离，促进可持续创新。API 和 Agent 的使用需在治理框架内，以防止成本放大。
🎯
关键要点
- 算力治理是AI原生组织可持续创新的基础保障。
- 治理应涵盖预算、计量、共享与隔离，以防止成本失控。
- API和Agent的使用需在治理框架内，以避免成本放大。
- AI时代的治理缺失会导致成本与不确定性放大。
- 资源稀缺性在AI基础设施中主要来自GPU、互连和功耗。
- AI请求的成本分布不稳定，长尾概率事件会增加成本。
- 推理状态的复用对单位成本的控制至关重要。
- 算力治理的对象是意图的资源后果，而非单纯管理GPU。
- 治理对象包括Token经济、加速器时间、互连与存储、组织预算与风险。
- MCP/Agent在治理缺失时会导致成本的指数级放大。
- 最小可行治理堆栈应包括准入与预算、计量与归因、隔离与共享。
- 拓扑与网络在AI训练与推理中是关键因素。
- 上下文和状态应被视为治理对象，以控制成本。
- 反模式包括将治理视为后续优化、忽视共享与隔离、忽视网络拓扑等。
- AI-native的算力治理闭环是确保系统可持续发展的关键。
➡️
