基于模拟器的强化学习用于数据中心冷却优化
内容提要
元宇宙（Meta）利用强化学习优化数据中心环境控制，减少能源消耗和水的使用。通过提高冷却效率，应对气候变化挑战。通过历史和模拟数据训练，成功减少能源和水的消耗。计划将该方法应用于未来的数据中心，实现能源和水的节约。
延伸解读
离线模拟器训练：安全与可靠性的关键
文章指出，直接应用在线强化学习可能导致服务要求被违反甚至热安全风险。Meta采用基于离线模拟器的强化学习方法，让智能体在物理模拟环境中探索动作，避免对实际数据中心造成影响。模拟器基于物理模型，能生成历史数据中未出现的场景，从而提升模型在异常事件下的可靠性，并支持新数据中心的快速部署。
优化气流设定点：能效提升的核心
数据中心冷却中，供风机能耗和水消耗主要受气流设定点影响。Meta通过强化学习动态调整供气量，在保证冷通道温度不超限的前提下减少不必要的空气处理。试点结果显示，供风机能耗降低20%，水使用量减少4%。这表明，在温湿度边界固定的情况下，优化气流是提升冷却效率最有效的途径。
从试点到推广：可持续性设计的延伸
Meta自2021年起在试点区域应用强化学习控制气流，并计划将相同方法推广到现有数据中心和新建数据中心。对于新建数据中心，该方法将在设计阶段就融入，以确保从运营第一天起就优化可持续性。这体现了Meta将AI优化从局部试点扩展到全局运营的战略，旨在长期减少能源和水消耗。
Q&A
强化学习如何优化数据中心的冷却系统？
强化学习通过模拟环境训练模型，优化供气量，从而提高冷却效率，减少能源和水的消耗。
Meta的数据中心如何减少能源和水的使用？
Meta通过提高冷却效率和优化供气量，自2021年以来成功减少了供风机能耗20%和水使用量4%。
未来的数据中心设计将如何应用当前的优化方法？
未来的数据中心将采用相同的强化学习方法，从设计阶段开始优化，以确保可持续性。
Meta的数据中心冷却系统是如何工作的？
Meta的数据中心采用100%外部空气冷却，通过调节空气流量和湿度来维持适宜的环境条件。
使用物理基础模拟器的好处是什么？
物理基础模拟器可以训练强化学习模型，考虑所有可能的场景，提高在极端情况下的可靠性。
强化学习在数据中心冷却中可能面临哪些风险？
应用在线强化学习模型可能导致服务要求的违反和热安全问题，因此采用离线模拟器的方法来降低风险。
