【大模型基础设施工程·特别篇】31：机房脏活——从业务规划到电力、光纤、RDMA、光模块与交换机
内容提要
本文讨论大模型机房落地的实操细节：从业务QPS与训练tokens推算所需卡数、机柜数和功率，再反推进线、冷却、布线与光模块配置。核心观点是电力与冷却能力决定代际上限，高密机柜必须采用液冷；光纤极性、光模块备件及兼容白名单常被忽视，易造成额外CAPEX和故障；交换机选型需比较IB与RoCE的TCO及运维成本；RDMA部署须明确PFC/ECN责任归属并完成验收；扩容应按P0/P1/P2分期推进，避免一次性囤货导致贬值。
延伸解读
从业务到机柜功率：可复算的容量漏斗
文章强调机房规划不是采购清单，而是从业务QPS或训练tokens反推卡数、机柜数和功率的漏斗。推理卡数需考虑输出token、单卡吞吐和故障域余量；训练卡数则依赖目标tokens/日与单卡有效吞吐。关键是要用自己的压测数据，而非网文数字。机柜功率需区分IT功率与设施功率，PUE用于电费估算而非进线容量校验，避免双计。
电力与冷却：代际上限的硬约束
文章指出电力与冷却能力决定GPU代际上限。风冷机柜常见上限约5-15kW，高密风冷20-30kW，而液冷可支持40-120kW以上，NVL72级整柜约120kW。高密柜必须液冷，且改造老机房需考虑承重、管路和停机窗口。冗余级别（N+1/2N）直接影响CAPEX，训练集群常需N+1以上以保证可维护窗口。进线容量应交设计院按设计工况计算，工程师需提供负载曲线和同时系数假设。
光纤与光模块：被低估的CAPEX与故障源
光纤极性、光模块备件和兼容白名单常被忽视，易导致额外CAPEX和故障。介质选择需按距离和代际匹配，MPO极性必须在施工图定死。光模块备件比例常见5-15%，且需冻结固件矩阵。白牌模块虽省CAPEX，但可能增加RMA和排障时间。文章建议将光链路变更升级到与生产数据库变更同级审批，避免临时跳线引发PFC风暴或fail-slow。
交换机与RDMA：TCO与责任归属
交换机选型需比较IB与RoCE的TCO和运维成本。IB端口单价高但运维省心，RoCE可复用以太团队但依赖PFC/ECN调优。拓扑（Leaf-Spine或Rail）直接影响台数和线缆数，过订阅可能省CAPEX但损害训练MFU。RDMA落地需明确PFC/ECN责任归属，并完成验收，包括带宽、时延、长稳和故障注入（需批准）。分期扩容按P0/P1/P2推进，避免一次性囤货贬值。
Q&A
如何从业务QPS推算需要多少张GPU卡和机柜功率？
推理卡数粗算公式：N_gpu ≈ ceil(QPS × 单请求输出token数 / 单卡可持续输出吞吐 × (1+α))，其中α为故障域、滚动升级和突发的余量，常见规划0.2–0.4。单卡吞吐需自己压测，不能直接抄网文数字。得到卡数后，按每机柜可容纳的GPU数计算机柜数，再根据服务器功耗（含CPU、NIC、盘等）和网络设备分摊估算单柜IT功率。注意prefill与decode需分列，严SLO下TTFT约束可能使batch变小、单卡吞吐下降，导致卡数翻倍。
高密GPU机柜必须用液冷吗？风冷机柜的功率上限大概是多少？
存量常规风冷机柜常见功率约5–15 kW，高密风冷（后门换热或行级空调）约20–30 kW，而液冷机柜可达40–120+ kW（如NVL72级整柜约120 kW）。因此，当单柜功率超过30 kW时，风冷已不友好，高密机柜必须采用液冷（冷板或浸没）。电力与冷却能力决定代际上限，上高密柜前应先确认液冷与进线条件。
IB和RoCE交换机在采购和运维上怎么选？
IB端口单价通常更高，但原生支持无损，运维栈独立；RoCE（以太网）白牌方案CAPEX更低，可复用以太团队和工具链，但依赖PFC/ECN/DCQCN调通无损。决策启发式：已有强以太团队、要快速扩到万卡、预算紧可认真评估RoCE；小团队、要开箱偏稳、深度绑定NVIDIA栈可接受溢价则IB仍常见。无论选谁，无损与线缆质量比品牌口号更能决定MFU。
RDMA部署验收时，PFC和ECN的配置责任应该由哪个团队负责？
建议明确归属：交换机队负责PFC/ECN、队列、ECMP、遥测和变更窗口；主机/平台队负责NIC的DCQCN参数、MTU、GID index、NCCL环境变量和绑定；业务训推队负责作业级超时、重试和MFU门禁。必须把“谁有权限改PFC”写进变更手册，避免多人可改且无审计。验收最低集包括verbs带宽测试、NCCL集合通信、24–72小时长稳和交换机侧PFC/Pause计数器健康画像。
光模块和线缆在机房建设中容易忽略哪些成本？备件比例一般多少？
光模块和线缆常占总CAPEX的数个到十余个百分点，且最易在立项时漏项。选型需按距离选择DAC（柜内≤3–5m）、AOC（数十米）或光模块+光纤（长距）。备件比例规划讨论中常见约5–15%量级，跨城机房取上限。还需注意兼容白名单、固件矩阵冻结、温度监控和变更纪律，避免因模块不兼容或备件不足导致额外CAPEX和故障。
机房扩容应该按什么节奏分期推进？每阶段有什么门禁？
建议分三期：P0为1柜试点，门禁包括电力切换演练、液冷泄漏演练（如采用）、RDMA验收和光模块温度长稳；P1为一叶（完整小拓扑），门禁包括集合通信达标、变更流程跑通和备件到位；P2为一Pod（Spine+多叶），门禁包括故障域演练和容量看板与业务Q对齐。切忌按终态一次性囤货，避免代际切换导致库存贬值。
