第二章：技术性能 | 2024 AI 指数报告
内容提要
该文章讨论了AI模型的技术性能和环境影响。研究发现，模型的新能力往往是评估标准的反映，而不是模型本身的固有属性。公开可用的LLM模型的性能会随时间变化。LLM模型很难自我纠正推理错误。封闭模型在一些基准测试上表现更好。提升LLM模型性能的技术包括Prompting、Fine-tuning和Flash-Decoding。AI模型的环境影响包括训练和推理阶段的碳排放以及环境可持续性应用。
延伸解读
基准饱和与评估转向
文章指出，AI模型在ImageNet、SQuAD等传统基准上已接近性能饱和，导致2024年报告弃用部分旧基准。这并非模型能力停滞，而是研究者转向更复杂的挑战，如SWE-bench、MMMU等新基准。读者应关注评估标准的变化，因为模型的新能力往往是评估标准的反映，而非固有属性。
封闭与开放模型的性能差距
在10个精选基准上，封闭模型的中位性能优势达24.2%。这一差距对AI政策辩论有重要影响，可能涉及开源与闭源模型的竞争格局、可及性与创新速度的权衡。读者需注意，性能优势并不直接等同于实际应用优势，还需考虑成本、定制化等因素。
幻觉问题与评估挑战
LLM仍易产生事实错误和内容幻觉，HaluEval基准显示ChatGPT约19.5%的回复包含不可验证信息，且许多模型难以识别幻觉。在医疗、法律等关键领域，这一问题尤为严重。读者应警惕模型输出的可靠性，并关注TruthfulQA等基准的进展，但需注意模型规模与真实性并非简单正相关。
多模态与机器人灵活性提升
多模态模型如Gemini和GPT-4能处理图像、文本甚至音频，而语言模型与机器人的结合（如PaLM-E、RT-2）提升了机器人的灵活性，使其能提问并适应真实世界。这标志着AI向更通用、交互性更强的系统发展，但复杂任务如视觉常识推理和规划仍落后于人类。
Q&A
AI模型的技术性能如何影响环境？
AI模型在训练和推理阶段会产生碳排放，影响环境可持续性。
如何提升LLM模型的性能？
提升LLM模型性能的技术包括Prompting、Fine-tuning和Flash-Decoding。
封闭模型与开放模型的性能差异是什么？
封闭模型在基准测试中表现优于开放模型，性能优势达24.2%。
AI在复杂任务上的表现如何？
AI在复杂任务如竞争级数学和视觉常识推理上仍落后于人类。
什么是HaluEval基准？
HaluEval基准用于评估LLM的幻觉现象，显示模型在识别幻觉方面的困难。
AI模型在图像生成方面的进展如何？
AI模型在图像生成方面取得显著进展，能够生成高质量的图像。
