OpenAI
·
MLE-bench：评估机器学习代理在机器学习工程中的表现
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
我们介绍了MLE-bench，这是一个评估AI代理在机器学习工程表现的基准。我们从Kaggle挑选了75个相关竞赛，测试真实世界的ML工程技能，并建立了人类基线。评估结果显示，OpenAI的o1-preview在16.9%的竞赛中达到了Kaggle铜奖水平。此外，我们还研究了AI代理的资源扩展和预训练污染的影响，并开源了基准代码。
🎯
关键要点
- 介绍了MLE-bench，这是一个评估AI代理在机器学习工程表现的基准。
- 从Kaggle挑选了75个相关竞赛，测试真实世界的ML工程技能。
- 建立了人类基线，使用Kaggle的公开排行榜进行评估。
- OpenAI的o1-preview在16.9%的竞赛中达到了Kaggle铜奖水平。
- 研究了AI代理的资源扩展和预训练污染的影响。
- 开源了基准代码，以促进未来对AI代理ML工程能力的研究。
❓
延伸问答
MLE-bench是什么？
MLE-bench是一个评估AI代理在机器学习工程表现的基准。
MLE-bench是如何评估AI代理的？
MLE-bench通过从Kaggle挑选75个相关竞赛，测试真实世界的ML工程技能来评估AI代理。
OpenAI的o1-preview在MLE-bench中的表现如何？
OpenAI的o1-preview在16.9%的竞赛中达到了Kaggle铜奖水平。
MLE-bench的研究中考虑了哪些因素？
研究中考虑了AI代理的资源扩展和预训练污染的影响。
MLE-bench的基准代码是否开源？
是的，MLE-bench的基准代码已开源，以促进未来的研究。
MLE-bench的主要目标是什么？
MLE-bench的主要目标是测量AI代理在机器学习工程中的表现。
➡️
