量子位
·
7个月翻一番！AI agent能力飙升，METR报告揭示指数级进化规律
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
根据METR报告，AI代理的能力每7个月翻一番，涵盖编程和数学等领域，显示出指数级进化。报告指出，AI在多项任务中表现优异，时间范围的增长反映了其智能水平的提升，未来可能实现更复杂任务的自动化。
🎯
关键要点
- 根据METR报告，AI代理的能力每7个月翻一番，涵盖编程、数学等领域。
- AI在多项任务中表现优异，能够完成相当于人类50-200分钟的任务。
- 在计算机操作任务中，增长率与软件开发任务一致，但自动驾驶任务的性能增长较慢。
- METR报告提出了AI能力的摩尔定律，time horizon每七个月翻一番。
- time horizon是指AI在任务上可稳定完成的时间跨度，越长表示任务越复杂。
- 报告选取了9个基准测试来评估AI的time horizon增长曲线。
- 不同基准测试的time horizon边界相差超过100倍，推理和编码基准测试的时间较长。
- 当前主流大模型的能力在METR任务上表现优于趋势水平，翻倍时间中位数约为4个月。
- agent的性能不仅取决于技巧，还取决于处理更长、更复杂任务的能力。
- 未来几年内，AI可能完成更复杂的任务，如几天到几周的任务。
❓
延伸问答
AI代理的能力增长速度是怎样的？
根据METR报告，AI代理的能力每7个月翻一番。
什么是AI的time horizon？
time horizon是指AI在任务上可稳定完成的时间跨度，越长表示任务越复杂。
METR报告中提到的基准测试有哪些？
报告选取了9个基准测试，包括软件开发、计算机使用、数学竞赛等。
AI在自动驾驶任务中的性能增长速度如何？
在自动驾驶任务中，AI的性能增长速度较慢，约20个月翻一番。
当前主流大模型在METR任务上的表现如何？
当前主流大模型在METR任务上的表现高于趋势水平，翻倍时间中位数约为4个月。
未来AI可能完成哪些复杂任务？
未来几年内，AI可能完成几天到几周的复杂任务。
➡️
