朝着可持续的 GenAI：用于环保的大型语言模型推断的生成指令
内容提要
信息技术的增长导致数据中心能耗和碳排放增加。研究探讨绿色编码和人工智能模型在可持续软件开发中的作用，评估自动生成代码的可持续性，并讨论生成式人工智能技术的双重用途困境及其法律监管影响，提出优化成本和资源可访问性的方案。
延伸解读
绿色编码与AI代码的可持续性评估
文章指出，信息技术增长导致数据中心能耗和碳排放占比显著增加。为应对软件开发的环境影响，研究以可持续性指标为基础，评估了自动生成代码的可持续性意识，并比较了人工生成代码与三种人工智能语言模型生成代码在易难问题陈述下的性能和可持续性能力。这有助于理解当前AI模型在可持续软件开发方面的实际贡献与局限。
生成式AI的双重用途困境与治理需求
生成式人工智能技术可能被用于积极和消极目的，文章讨论了这种双重用途困境，并提出了短期和长期目标，旨在引发学术界深入讨论。同时，欧盟正在审视生成式AI和大型语言模型的法律和监管影响，包括责任、隐私、知识产权和网络安全等方面，批判性审视现有和拟议立法，如《人工智能法案》草案，以应对独特挑战并确保安全合规部署。
降低训练成本与碳足迹的技术路径
文章介绍了GreenTrainer技术，通过评估不同张量的反向传播成本和对精调模型准确性的贡献，选择最适合的张量集以最小化训练成本。相较于整个LLM模型的精调，GreenTrainer可节省高达64%的FLOPs，同时不会显著降低模型准确性，并且相较于LoRa，能在FLOPs减少的同时提高4%的模型准确性。此外，LLMCarbon模型作为端到端的碳足迹预测模型，可以显著提高大型语言模型碳足迹估算的准确性。
Q&A
信息技术增长对环境有什么影响？
信息技术的增长导致数据中心能耗和碳排放显著增加。
绿色编码如何提高软件开发的能源效率？
绿色编码和人工智能模型的使用可以提高软件开发的能源效率。
自动生成代码的可持续性如何评估？
研究评估了自动生成代码的可持续性，并比较了人工生成代码与人工智能生成代码的性能。
生成式人工智能技术的双重用途困境是什么？
生成式人工智能技术可能被用于积极和消极目的，存在双重用途困境。
欧盟如何监管生成式人工智能和大型语言模型？
欧盟正在审视生成式人工智能和大型语言模型的法律和监管影响，包括责任、隐私和知识产权等方面。
LLMCarbon模型的作用是什么？
LLMCarbon模型可以提高大型语言模型碳足迹估算的准确性。
