CarbonCall: A Sustainable Function Calling Framework for Large Language Models on Edge Devices

本研究针对大型语言模型在边缘AI系统中的高能耗和碳排放问题，提出了CarbonCall，一个可持续性意识的函数调用框架。该框架通过实时碳强度预测动态调整功率阈值，并切换模型变体，以减少碳排放和能耗，同时保持高效能。实验结果表明，CarbonCall能将碳排放减少52%、功耗降低30%和执行时间缩短30%。

本研究提出CarbonCall框架，旨在降低边缘AI系统中大型语言模型的能耗和碳排放。通过实时预测碳强度，CarbonCall可减少52%的碳排放和30%的功耗，同时提升效率。

CarbonCall edge framework models 效率碳排放能耗边缘AI