第 2 章：技术性能 —— 2024 年人工智能指数报告 [译]
内容提要
本文介绍了2023年人工智能（AI）在技术性能方面的全面进展，包括视觉常识推理、道德推理、因果推理、音频生成、智能体和强化学习等方面的能力和表现。同时，还介绍了一些新的技术和方法，如提示技巧、微调和闪电解码，以提高AI系统的性能和效率。此外，还提到了AI系统对环境的影响和一些积极的环境保护应用。总体而言，AI在多个领域的性能和能力已经取得了显著的进展。
延伸解读
基准测试饱和与评估转向
文章指出，ImageNet、SQuAD等传统基准已接近性能上限，年对年提升微乎其微，甚至被淘汰。这并非AI停止进步，而是评估工具需要升级。2023年涌现的SWE-bench、HEIM、MMMU等新基准，将测试重点转向编程、多模态推理和智能体行为等更复杂任务。读者应关注这些新基准的评估结果，它们更能反映AI在真实场景中的能力边界。
封闭与开放模型的性能差距
报告显示，在选定的十个基准测试中，封闭模型（如GPT-4、Gemini）的中位数性能优势达24.2%，差异从数学任务的4.0%到智能体任务的317.7%不等。这一差距对AI政策讨论有深远意义：开放模型虽促进创新和透明度，但当前性能仍落后。读者需注意，性能差距可能影响开源生态的竞争力和应用选择，但开放模型在可修改性和审查方面具有独特价值。
大语言模型性能的不稳定性
斯坦福与伯克利的研究发现，GPT-3.5和GPT-4在2023年3月至6月间，多个任务性能出现下降，例如GPT-4编写代码下降42个百分点，回答敏感问题下降16个百分点。这表明模型更新可能带来性能波动，用户不能假设模型会持续改进。同时，GPT-4在无外部指导的自我修正测试中表现不佳，说明其独立纠错能力有限。读者应对模型版本变化保持关注，并在关键应用中验证性能。
效率优化技术的实际影响
文章介绍了闪电解码和QLoRA等效率技术。闪电解码通过并行加载键值，在特定任务上推理速度可达PyTorch Eager的48倍；QLoRA则使650亿参数模型微调仅需48GB GPU内存，效率提升近16倍。这些技术降低了AI训练和推理的硬件门槛与成本，使更多研究者和开发者能够参与大模型开发。但读者也需注意，效率提升可能伴随性能权衡，实际部署时需根据任务需求选择合适技术。
Q&A
2023年人工智能在视觉推理方面的表现如何？
2023年，人工智能在视觉推理方面的表现有所提升，但在复杂任务中仍未超过人类。
多模态AI模型的优势是什么？
多模态AI模型如Google的Gemini和OpenAI的GPT-4在处理图像、文本和音频方面展现出出色的灵活性。
AI系统对环境的影响有哪些关注点？
AI系统的训练和推理过程对环境的影响逐渐受到关注，尤其是碳排放问题。
什么是SWE-bench和HEIM基准测试？
SWE-bench和HEIM是新兴的基准测试，旨在评估AI在更复杂任务中的表现。
AI智能体在自主运行能力上有哪些进展？
AI智能体在自主运行能力上有了显著进步，能够完成复杂的现实任务，如在线购物和研究助理。
2023年发布的关键AI模型有哪些？
2023年发布的关键AI模型包括Claude、GPT-4和Stable Diffusion v2等。
