起猛了，GPT-4o被谷歌新模型击败，ChatGPT官号：大家深吸一口气
内容提要
谷歌新模型Gemini 1.5 Pro（0801）在lmsys竞技场中击败了GPT-4o，成为第一。Gemini 1.5 Pro（0801）在视觉排行榜和多语言能力基准测试中表现出色，但在编码和Hard Prompt Arena中表现不佳。谷歌发布了20亿参数模型Gemma 2（2B），在竞技场排行榜上超越了GPT-3.5模型。竞技场榜单的权威性受到质疑。
延伸解读
竞技场排名：光环与局限
Gemini 1.5 Pro（0801）在lmsys竞技场登顶，但这一排名基于人类匿名投票，可能受主观偏好影响。文章指出，该模型在编码和Hard Prompt Arena中表现不佳，而专家如Teknium和Bindu Reddy质疑竞技场作为唯一指标的可靠性。读者应将其视为参考之一，而非绝对性能标准。
多语言与视觉优势，编码仍是短板
Gemini 1.5 Pro（0801）在多语言基准测试中排名第一，视觉能力接近GPT-4o，且支持200万上下文窗口。然而，它在编码任务上不及Claude 3.5 Sonnet、GPT-4o等对手。对于需要多语言处理或图像/PDF提取的用户，该模型可能适合；但编码密集型任务需谨慎评估。
小模型Gemma 2（2B）的定位
谷歌发布20亿参数的Gemma 2（2B），可在免费T4 GPU上运行，竞技场得分超过所有GPT-3.5模型。但文章提醒，其在MMLU基准上远低于GPT-3.5 Turbo，说明竞技场排名与学术基准存在差异。该模型适合轻量级、资源受限的场景，但不宜直接替代更大模型。
Q&A
Gemini 1.5 Pro（0801）在lmsys竞技场中表现如何？
Gemini 1.5 Pro（0801）在lmsys竞技场中首次夺得第一，超越了GPT-4o，并在视觉排行榜和多语言能力基准测试中表现出色。
Gemini 1.5 Pro（0801）有哪些优势和劣势？
Gemini 1.5 Pro（0801）在视觉能力和多语言能力上表现优异，但在编码和Hard Prompt Arena中表现不佳。
谷歌发布的Gemma 2（2B）模型有什么特点？
Gemma 2（2B）是一个20亿参数的模型，可以在Google Colab的免费T4 GPU上运行，并在竞技场排行榜上超越了所有GPT-3.5模型。
为什么竞技场榜单的权威性受到质疑？
专家指出，虽然Gemma 2（2B）在竞技场得分高于GPT-3.5 Turbo，但在MMLU上远低于后者，使用竞技场排名作为唯一指标可能会导致误导。
Gemini 1.5 Pro（0801）在多语言能力测试中表现如何？
Gemini 1.5 Pro（0801）在多语言能力测试中排名第一，尤其在中文、日语、德语和俄语方面表现突出。
ChatGPT官方账号对谷歌新模型的反应是什么？
ChatGPT官方账号暗示可能会发布新版本来应对谷歌新模型的挑战，显示出对竞争的关注。
