内容提要
文章讨论“锯齿状智能”:AI在奥数等任务上表现优异,却会在简单任务上出错。作者提出四种解释:可验证奖励训练、数据覆盖不足、模式复制、概念表征不一致。文中列举干扰句致数学题性能降65%、能定义却不会应用、读钟准确率仅13.3%、医疗场景中用户实际表现远低于模型单独得分等案例,说明单一基准分数会误导。建议用扰动测试、应用测试、分群报告和真实用户测试来评估,并在每次模型更新后重新测试。
延伸解读
单一基准分数为何不可靠
文章指出,基准测试本身是可验证环境,而RLVR训练恰好擅长此类任务,因此分数可能上升但通用能力未同步提升。此外,基准测试假设少量正确回答能推断整体理解,但模型的误解模式与人类不同,可能通过测试却不理解概念。GSM8K等基准还易受污染,且不衡量对措辞微小变化的敏感性。因此,仅凭一个高分或一次演示,无法预测模型在下一个任务上的表现。
从“锯齿”到产品:分群评估的必要性
文章用面试题说明,整体指标提升3%可能掩盖特定用户群10%的性能回退。若只监控主指标,这种回退不会被发现。建议在部署前按用户群报告结果,识别弱势群体,并考虑将这部分请求路由到旧模型版本。同时,每次模型更新后都应重新测试,因为锯齿边缘会随版本移动,上一季度的测试结果只描述上一季度的模型。
真实用户测试:模型单独得分不等于实际价值
牛津大学试验中,LLM单独识别医疗状况的准确率为94.9%,但使用同一LLM的参与者最高仅34.5%,甚至低于自行研究对照组的47%。这说明模型与用户结合后可能出现“山谷”,而标准基准和模拟患者均未预测到这一结果。因此,在缺乏自动检查的领域,应手动验证完整工作流,并用真实用户测试,不能假设用户能发现并纠正模型错误。
Q&A
什么是锯齿状智能?
锯齿状智能指AI能力极不均衡:在某些任务上表现优异(如奥数),却在简单任务上出错(如读钟),且难以提前预测哪些任务会成功或失败。该术语由Andrej Karpathy于2024年7月提出。
为什么AI会表现出锯齿状智能?
文章提出四种可能解释:1)可验证奖励训练(RLVR)使模型在数学、代码等可自动验证领域突飞猛进;2)数据覆盖不足,互联网缺乏物理世界知识;3)模式复制,模型依赖训练数据中的推理模板而非逻辑推理;4)概念表征不一致,模型能正确定义概念却无法正确应用。这些解释均未定论,可能重叠。
有哪些具体案例说明AI的锯齿状表现?
案例包括:1)GSM-NoOp测试中,添加无关句子使数学题性能下降高达65%;2)GPT-4o能正确定义ABAB押韵方案,却写出不押韵的诗;3)ClockBench上人类读钟准确率89.1%,最佳模型仅13.3%;4)牛津研究中,LLM单独诊断准确率94.9%,但用户使用LLM时仅34.5%,低于对照组47%;5)ARC-AGI-3上所有前沿模型得分低于1%,而人类全部解决。
为什么单一基准分数会误导对AI能力的判断?
基准是构造出的可验证环境,实验室可针对其训练,分数上升未必代表通用能力提升;基准假设少量正确即代表理解,但模型的误解不遵循人类错误模式,可能通过测试却不理解概念;基准易受污染,且不衡量对措辞变化的敏感性;真实用户测试结果可能与基准分数相差甚远。
在实际应用中如何可靠地评估和使用AI?
建议五条实践:1)用扰动和对抗性案例测试(如添加无关细节);2)测试应用能力而非回忆(让模型分类或生成例子);3)按用户群体报告结果,避免平均值掩盖回归;4)在无自动检查的领域人工验证完整工作流;5)每次模型更新后重新评估。部署时自动化具体任务,对难以验证的输出人工检查。
模型更新后为什么需要重新测试?
因为锯齿边缘会随版本变化,上一季度的测试结果只描述上一季度的模型。例如ARC-AGI-2上得分77.1%的模型在ARC-AGI-3上得分低于1%,高分数不能跨版本迁移。因此每次更新后必须重新测试以确保可靠性。