Meta的实时语音翻译AI系统研究超级集群
内容提要
Meta正在建设一个研究超级集群(RSC)基础设施，用于推动人工智能技术的进步。他们强调了强大的网络基础设施和高效的数据传输协议的需求。Meta已经建立了两个使用RoCE和InfiniBand技术的24k-GPU集群。他们计划到2024年将其基础设施扩展到包括35万个NVIDIA H100 GPU。Meta致力于开放计算和开源原则。他们在集群中使用Grand Teton、OpenRack和PyTorch。Meta通过自主开发的Linux文件系统和优化的网络路由策略来满足存储需求。他们正在开展LlaMA和通用语音翻译器等项目。对大规模AI训练的环境影响引起了关注，建议公司投资于能源高效的GPU。
延伸解读
双网络架构的并行探索
Meta同时构建RoCE和InfiniBand两个24k-GPU集群，并非简单堆叠硬件，而是为了在真实生产环境中对比两种网络技术的运维表现。此前Meta的RoCE集群最大仅支持4K GPU，而InfiniBand集群虽达16K GPU却未完全融入生产环境。通过并行运行，Meta希望为未来GenAI网络架构积累可复用的经验，降低单一技术路线带来的风险。
故障恢复与网络瓶颈的应对
大规模GPU训练中，硬件故障和部分GPU间的慢速数据交换会拖累整体任务。Meta强调通过严格测试、自动化检测与修复来减少中断，并优化重新调度与训练重启流程。同时，高速网络基础设施和高效传输协议是避免局部延迟放大为全局瓶颈的关键。这些工程细节直接影响超大规模模型训练的稳定性和效率。
开放计算与自研存储的协同
Meta在集群中采用Grand Teton、OpenRack和PyTorch，延续其开放计算和开源原则。存储方面，面对GenAI训练的多模态数据增长，Meta使用自研的Linux FUSE API和基于Tectonic的分布式存储方案，并针对闪存优化。这种从硬件到软件栈的垂直整合，旨在平衡性能、成本与可扩展性，同时对外分享设计经验。
规模扩张背后的环境考量
Meta计划到2024年将基础设施扩展至35万个NVIDIA H100 GPU，总算力接近60万个H100。如此规模引发对AI训练能耗和碳足迹的关注。文章引用研究指出，大模型能耗六年增长30万倍，模型规模每3.4个月翻倍。有专家建议企业投资能效更高的GPU，以在AI雄心与环境责任之间取得平衡。
Q&A
Meta的研究超级集群(RSC)基础设施有什么主要目标？
Meta的RSC基础设施旨在推动人工智能技术的进步，特别是在实时语音翻译和语言处理等领域。
Meta使用了哪些技术来构建其GPU集群？
Meta使用了RoCE和InfiniBand技术来构建其24k-GPU集群。
Meta计划在2024年扩展多少个NVIDIA H100 GPU？
Meta计划到2024年扩展到包括35万个NVIDIA H100 GPU。
Meta在其集群中使用了哪些开源技术？
Meta在集群中使用了Grand Teton、OpenRack和PyTorch等开源技术。
Meta如何应对大规模AI训练的环境影响？
Meta建议投资于能源高效的GPU，以平衡AI发展与环境责任。
Meta的集群在性能优化方面采取了哪些措施？
Meta优化了网络路由策略，并结合NVIDIA Collective Communications Library进行性能优化。
