量子位
·
大模型竞技场再被锤！Llama4私下测试27个版本，只取最佳成绩
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
论文《排行榜幻觉》揭示了大模型竞技场的可信度问题，指出少数大厂通过私下测试和选择性报告数据，导致排行榜不公。研究显示，专有模型的数据远超开源模型，且有205个模型被静默弃用。官方回应称排行榜反映真实用户偏好，但质疑仍在。AI社区需警惕，不能仅依赖单一榜单。
🎯
关键要点
-
论文《排行榜幻觉》揭示了大模型竞技场的可信度问题。
-
少数大厂通过私下测试和选择性报告数据，导致排行榜不公。
-
专有模型的数据远超开源模型，205个模型被静默弃用。
-
官方回应称排行榜反映真实用户偏好，但质疑仍在。
-
AI社区需警惕，不能仅依赖单一榜单。
-
私人测试和有选择性的结果报告导致排名膨胀。
-
数据访问不平等，专有模型获得的用户反馈数据显著多于开源模型。
-
大模型厂商使用竞技场数据进行训练，排名可以显著提升。
-
许多模型被静默弃用，影响排名可靠性。
-
研究团队提出5点改进建议以提高排行榜的公正性。
-
大模型竞技场的参考价值因机制特殊性而提高，但也受到质疑。
-
官方反驳了论文中的一些问题，强调政策透明性和公平性。
-
AI社区应考虑多样化的排行榜参考，避免单一依赖。
❓
延伸问答
《排行榜幻觉》论文主要揭示了什么问题？
论文揭示了大模型竞技场的可信度问题，指出少数大厂通过私下测试和选择性报告数据，导致排行榜不公。
为什么专有模型在排行榜上表现优于开源模型？
专有模型获得的用户反馈数据显著多于开源模型，导致其在排行榜上表现更好。
大模型竞技场的排行榜是否可信？
排行榜的可信度受到质疑，尤其是由于私下测试和选择性报告的策略，可能不反映真实的技术进步。
研究团队提出了哪些改进建议？
研究团队提出了禁止提交后撤回分数、限制非正式模型数量、实施公平采样方法等五点改进建议。
大模型竞技场的官方回应是什么？
官方回应称排行榜反映真实用户偏好，并反驳了论文中的一些质疑，强调政策透明性和公平性。
AI社区应该如何看待排行榜？
AI社区应警惕，不能仅依赖单一榜单，建议考虑多样化的排行榜参考。
➡️
