量子位
·
谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒
内容提要
谷歌技术报告显示，Gemini查询的能耗仅为0.24Wh，相当于微波炉运行1秒，排放0.03g CO₂e。通过优化模型和使用清洁能源，Gemini的能耗降至原来的1/33，碳排放降至1/44。谷歌通过定制TPU和优化资源利用，提升效率，确保低能耗和高效能。
关键要点
-
谷歌技术报告显示，Gemini查询的能耗仅为0.24Wh，相当于微波炉运行1秒，排放0.03g CO₂e。
-
Gemini的能耗通过优化模型和使用清洁能源降至原来的1/33，碳排放降至1/44。
-
谷歌开发了一套全面的方法来计算AI能源消耗，包括全系统动态功率、空闲计算机、CPU和内存、数据中心开销和用水量。
-
Gemini的效率提升得益于定制硬件、高效模型和强大服务系统的全栈方法。
-
Gemini采用更高效的模型架构，效率可提升10倍到100倍，并融入了MoE和混合推理机制。
-
谷歌通过精准量化训练等方法优化模型，降低能源消耗，同时提升响应速度和整体效率。
-
谷歌的最新一代TPU Ironwood的能效比首款TPU高30倍，优化了硬件性能。
-
谷歌的超高效数据中心整体平均能源使用效率（PUE）可达1.09，致力于全天候无碳运行。
延伸解读
能耗与环境影响的对比
谷歌的Gemini模型在能耗方面表现出色，一次查询仅消耗0.24Wh，相当于微波炉运行1秒。这一数据不仅低于公众预期，也显示出AI技术在环境影响方面的潜力。相比之下，传统计算方式的能耗往往被高估，谷歌的研究为AI的可持续发展提供了新的视角。
优化方法的全面性
谷歌通过全栈方法优化Gemini的能耗，包括定制硬件、模型架构和服务系统的协同设计。这种综合性策略不仅提升了效率，还降低了能源消耗，显示出在AI开发中，硬件与软件的紧密结合是实现低能耗的关键。
清洁能源的应用
谷歌在Gemini的开发中强调使用清洁能源，以降低碳排放。通过优化数据中心的能源使用效率和增加可再生能源的比例，谷歌不仅在技术上实现了低能耗，也在环境责任上树立了榜样。这一做法值得其他科技公司借鉴。
延伸问答
Gemini查询的能耗是多少？
Gemini查询的能耗为0.24Wh，相当于微波炉运行1秒。
谷歌是如何降低Gemini的能耗的？
谷歌通过优化模型、使用清洁能源和定制TPU等方法，将Gemini的能耗降至原来的1/33，碳排放降至1/44。
Gemini的能效与之前的模型相比如何？
Gemini的效率可提升10倍到100倍，采用了更高效的模型架构和机制。
谷歌如何计算AI的能源消耗？
谷歌开发了一套全面的方法，包括全系统动态功率、空闲计算机、CPU和内存、数据中心开销和用水量等因素。
Gemini的最新TPU Ironwood相比于首款TPU有什么优势？
最新一代TPU Ironwood的能效比首款TPU高30倍，优化了硬件性能。
谷歌的数据中心在能效方面表现如何？
谷歌的数据中心整体平均能源使用效率（PUE）可达1.09，是业界最高效的数据中心之一。
