BriefGPT - AI 论文速递
·
CarbonCall：面向边缘设备的大型语言模型的可持续性函数调用
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
本研究提出CarbonCall框架，旨在降低边缘AI系统中大型语言模型的能耗和碳排放。通过实时预测碳强度，CarbonCall可减少52%的碳排放和30%的功耗，同时提升效率。
🎯
关键要点
- 本研究提出CarbonCall框架，旨在降低边缘AI系统中大型语言模型的能耗和碳排放。
- CarbonCall通过实时预测碳强度，动态调整功率阈值和切换模型变体。
- 该框架能够减少52%的碳排放和30%的功耗，同时提升执行效率。
- 实验结果表明，CarbonCall在保持高效能的同时显著降低了能耗和碳排放。
➡️
