量子位
·
起猛了，GPT-4o被谷歌新模型击败，ChatGPT官号：大家深吸一口气
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
谷歌新模型Gemini 1.5 Pro（0801）在lmsys竞技场中击败了GPT-4o，成为第一。Gemini 1.5 Pro（0801）在视觉排行榜和多语言能力基准测试中表现出色，但在编码和Hard Prompt Arena中表现不佳。谷歌发布了20亿参数模型Gemma 2（2B），在竞技场排行榜上超越了GPT-3.5模型。竞技场榜单的权威性受到质疑。
🎯
关键要点
- 谷歌新模型Gemini 1.5 Pro（0801）在lmsys竞技场中首次夺得第一，超越了GPT-4o。
- Gemini 1.5 Pro（0801）在视觉排行榜和多语言能力基准测试中表现出色，但在编码和Hard Prompt Arena中表现不佳。
- Gemini 1.5 Pro（0801）是基于谷歌2月发布的Gemini 1.5 Pro的实验性版本，扩展了上下文窗口至200万。
- 在总体胜率热图中，Gemini 1.5 Pro（0801）比GPT-4o胜出54%，在多语言能力测试中排名第一。
- 谷歌发布了20亿参数模型Gemma 2（2B），在竞技场排行榜上超越了所有GPT-3.5模型。
- 竞技场榜单的权威性受到质疑，专家呼吁停止使用该排行榜作为模型性能的唯一指标。
➡️
