量子位
·
谁是最强“打工AI”？OpenAI亲自测试，结果第一不是自己
内容提要
OpenAI发布了GDPval基准，以评估AI模型在经济价值任务中的表现。测试结果显示，Claude Opus 4.1的表现最佳，47.6%的成果接近人类专家，GPT-5紧随其后。研究指出模型进步迅速，未来将扩展任务范围和真实性。
关键要点
-
OpenAI发布GDPval基准，用于评估AI模型在经济价值任务中的表现。
-
GDPval覆盖美国GDP贡献最大的9个行业中的44种职业，年均创收达3万亿美元。
-
Claude Opus 4.1表现最佳，47.6%的成果媲美人类专家，GPT-5紧随其后，成绩为38.8%。
-
不同模型各有优势，Claude在美学方面突出，GPT-5在准确性上更优。
-
模型进步速度快，前沿模型在一年内胜率几乎翻倍。
-
GDPval任务基于真实工作成果，具备现实性，涵盖多种职业工作活动。
-
任务创建由行业专家设计，确保任务的广度与代表性，专家平均经验达14年。
-
GDPval全集包含1320项任务，经过多轮人类专家审核，确保任务质量。
-
OpenAI开源220项优质任务子集，采用盲态专家对比法进行评分。
-
Claude Opus 4.1在美观性方面表现突出，GPT-5在文本任务上表现更优。
-
研究发现AI模型与人类监督结合能提高经济效率，节省成本和时间。
-
GDPval存在局限性，如数据集规模有限、聚焦知识工作、缺乏交互性等。
-
OpenAI计划在未来迭代中拓展GDPval的覆盖范围和真实性。
延伸解读
GDPval基准的现实意义
GDPval基准的推出，标志着AI评估向更真实的经济价值任务迈进。通过涵盖多个行业和职业，OpenAI确保了任务的广泛性和代表性。这种基准不仅能帮助企业选择合适的AI工具，还能推动AI技术在实际工作中的应用，提高经济效率。
模型间的优势比较
Claude Opus 4.1在美观性方面表现突出，而GPT-5在准确性上更具优势。这种差异化的表现意味着企业在选择AI模型时，应根据具体任务需求进行选择。例如，处理文档和幻灯片时，Claude可能更合适，而在需要严格遵循指令的文本任务中，GPT-5则更为优越。
未来发展方向
OpenAI计划在未来的GDPval迭代中扩展任务范围和真实性，尤其是希望增加交互性和涵盖更多场景。这意味着，随着技术的进步，AI模型的应用将更加广泛，企业在利用AI时也需关注这些变化，以便更好地适应未来的市场需求。
延伸问答
GDPval基准的主要目的是什么？
GDPval基准旨在评估AI模型在真实世界经济价值任务中的表现。
Claude Opus 4.1和GPT-5的表现有什么区别？
Claude Opus 4.1在美观性方面表现突出，47.6%的成果媲美人类专家，而GPT-5在准确性上更优，成绩为38.8%。
GDPval基准覆盖了哪些行业和职业？
GDPval覆盖了美国GDP贡献最大的9个行业中的44种职业，这些职业年均创收达3万亿美元。
OpenAI如何确保GDPval任务的质量？
OpenAI通过行业专家设计任务，并经过多轮人类专家审核，确保任务的广度与代表性。
AI模型与人类监督结合的优势是什么？
结合AI模型与人类监督可以提高经济效率，节省成本和时间。
GDPval基准存在哪些局限性？
GDPval的局限性包括数据集规模有限、聚焦知识工作、缺乏交互性等。
