CEGI:测量小型语言模型与视觉语言模型之间效率与碳排放的权衡
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本文探讨了小型语言模型(SLMs)和视觉语言模型(VLMs)的性能,提出碳效率增益指数(CEGI)来量化碳排放与模型表现的关系,结果表明微调SLMs和VLMs能够在减少碳排放的同时实现与大型语言模型相当的性能。
🎯
关键要点
- 本文探讨了小型语言模型(SLMs)和视觉语言模型(VLMs)的性能。
- 研究评估了模型表现与碳排放之间的权衡。
- 提出了一种新颖的度量标准CEGI(碳效率增益指数)。
- CEGI用于量化单位百分比增益每百万可训练参数的碳排放。
- 结果表明,通过微调SLMs和VLMs,可以在减少碳排放的同时实现与大型语言模型(LLMs)相当的性能水平。
➡️