量子位
·
谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
谷歌技术报告显示，Gemini查询的能耗仅为0.24Wh，相当于微波炉运行1秒，排放0.03g CO₂e。通过优化模型和使用清洁能源，Gemini的能耗降至原来的1/33，碳排放降至1/44。谷歌通过定制TPU和优化资源利用，提升效率，确保低能耗和高效能。
🎯
关键要点
- 谷歌技术报告显示，Gemini查询的能耗仅为0.24Wh，相当于微波炉运行1秒，排放0.03g CO₂e。
- Gemini的能耗通过优化模型和使用清洁能源降至原来的1/33，碳排放降至1/44。
- 谷歌开发了一套全面的方法来计算AI能源消耗，包括全系统动态功率、空闲计算机、CPU和内存、数据中心开销和用水量。
- Gemini的效率提升得益于定制硬件、高效模型和强大服务系统的全栈方法。
- Gemini采用更高效的模型架构，效率可提升10倍到100倍，并融入了MoE和混合推理机制。
- 谷歌通过精准量化训练等方法优化模型，降低能源消耗，同时提升响应速度和整体效率。
- 谷歌的最新一代TPU Ironwood的能效比首款TPU高30倍，优化了硬件性能。
- 谷歌的超高效数据中心整体平均能源使用效率（PUE）可达1.09，致力于全天候无碳运行。
❓
延伸问答
Gemini查询的能耗是多少？
Gemini查询的能耗为0.24Wh，相当于微波炉运行1秒。
谷歌是如何降低Gemini的能耗的？
谷歌通过优化模型、使用清洁能源和定制TPU等方法，将Gemini的能耗降至原来的1/33，碳排放降至1/44。
Gemini的能效与之前的模型相比如何？
Gemini的效率可提升10倍到100倍，采用了更高效的模型架构和机制。
谷歌如何计算AI的能源消耗？
谷歌开发了一套全面的方法，包括全系统动态功率、空闲计算机、CPU和内存、数据中心开销和用水量等因素。
Gemini的最新TPU Ironwood相比于首款TPU有什么优势？
最新一代TPU Ironwood的能效比首款TPU高30倍，优化了硬件性能。
谷歌的数据中心在能效方面表现如何？
谷歌的数据中心整体平均能源使用效率（PUE）可达1.09，是业界最高效的数据中心之一。
➡️
