Meta正在建设一个研究超级集群(RSC)基础设施，用于推动人工智能技术的进步。他们强调了强大的网络基础设施和高效的数据传输协议的需求。Meta已经建立了两个使用RoCE和InfiniBand技术的24k-GPU集群。他们计划到2024年将其基础设施扩展到包括35万个NVIDIA H100 GPU。Meta致力于开放计算和开源原则。他们在集群中使用Grand Teton、OpenRack和PyTorch。Meta通过自主开发的Linux文件系统和优化的网络路由策略来满足存储需求。他们正在开展LlaMA和通用语音翻译器等项目。对大规模AI训练的环境影响引起了关注，建议公司投资于能源高效的GPU。

亚马逊推出了P5.48xlarge实例类型，采用NVIDIA H100 GPU，加速了训练时间，降低了成本。使用P5 Spot实例可节省成本，但存在中断回收问题。需要修改EC2参数限额并采用参考架构进行管理。文章还介绍了创建S3 Bucket、SNS Topic、启动Spot实例、配置IAM Role等操作。