蓝点网
·
HuggingFace搭建新系统测试模型能力 通义千问排名第一 部分模型被发现作弊
💡
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
人工智能模型托管平台HuggingFace发现部分模型在基准测试中存在作弊行为，推出新版本的Open LLM Leaderboard以获得真实有效的评估结果。阿里云通义千问Qwen-72B模型在测试中排名第一。模型参数规模并非越大越好，AI公司开始关注主要测试而忽略其他方面的表现。未来可能需要构建更独特的测试集来评估模型。
🎯
关键要点
- HuggingFace发现部分模型在基准测试中存在作弊行为。
- 推出新版本的Open LLM Leaderboard以获得真实有效的评估结果。
- 阿里云通义千问Qwen-72B模型在测试中排名第一。
- 模型参数规模并非越大越好，部分超大规模模型能力不佳。
- 新的评测有效解决了此前评测难度太低的问题。
- AI公司开始关注主要测试，忽略其他方面表现。
- 行业可能需要构建更独特的测试集来评估模型。
➡️
