宝玉的分享 ·

Gemini 语言能力深度剖析 [译]

💡 原文中文，约20400字，阅读约需49分钟。

📝

内容提要

第三方评测对比了Gemini Pro与GPT-3.5 Turbo、GPT-4 Turbo及Mixtral在10个数据集上的语言能力。Gemini Pro准确率接近但略低于GPT-3.5 Turbo，远不及GPT-4。其不足包括多位数字数学推理弱、多选题答案排序偏差、内容过滤过严导致响应被屏蔽；亮点是长复杂推理链、非英语生成及部分任务表现较好。

🔎

延伸解读

评测的局限与时效性

本文结果基于2023年12月18日的API快照，模型和系统后续升级可能改变结论。评测使用固定提示和参数，未采用多样本自洽性检验，优化提示可能提升表现。此外，未直接测量数据泄露，但通过多任务评估降低影响。读者应视其为特定时间点的第三方观察，而非永久定论。

内容过滤对实际使用的影响

Gemini Pro因内容过滤过严，在部分任务中屏蔽响应，如MMLU道德情境和人类性学任务响应率仅85%和28%，机器翻译中约10种语言对出现屏蔽。这些被屏蔽的响应在评测中计为错误，可能拉低整体准确率。实际使用时，用户可能遇到合法问题被拒答，需考虑过滤机制对任务完成度的制约。

长推理链与短任务的表现分化

Gemini Pro在长而复杂的推理任务上表现优于GPT-3.5 Turbo，如MMLU输出超过900字符时准确率反超，数学任务中超过100个思维链步骤时也更好。但在简单短任务上稍逊。这表明其优势在于处理需要多步推理的复杂查询，而非快速简答。用户可根据任务复杂度选择模型。

与专用系统的差距

在机器翻译任务中，Gemini Pro等通用大模型未能超越Google Translate和NLLB等专用系统。Google Translate在9种语言上领先，NLLB在6到8种语言上优秀。尽管Gemini Pro在部分语言上超过GPT模型，但整体翻译质量仍不及专用工具。对于高要求的翻译任务，专用系统仍是更可靠选择。

❓

Q&A

Gemini Pro 和 GPT-3.5 Turbo 在语言任务上的准确率对比如何？

根据第三方评测，Gemini Pro 在10个数据集上的准确率接近但略低于 GPT-3.5 Turbo，远不及 GPT-4 Turbo。

Gemini Pro 在哪些方面表现不如 GPT-3.5 Turbo？

Gemini Pro 在处理多位数字的数学推理上较弱，对多项选择题答案排序有偏差（偏好选D），且内容过滤过严导致部分响应被屏蔽，这些因素导致其表现不如 GPT-3.5 Turbo。

Gemini Pro 有哪些亮点或优势？

Gemini Pro 在生成非英语内容、处理更长更复杂的推理链以及部分任务（如单词排序、符号堆栈操作）上表现较好，甚至优于 GPT-3.5 Turbo。

这项评测使用了哪些数据集和任务？

评测使用了10个数据集，涵盖基于知识的问答（MMLU）、推理（BIG-Bench-Hard）、数学（GSM8K等）、代码生成（HumanEval、ODEX）、机器翻译（FLORES）和网络代理（WebArena）等任务。

Gemini Pro 在机器翻译任务上的表现如何？

Gemini Pro 在机器翻译上整体不如专门的翻译系统（如Google Translate和NLLB），但在部分语言上优于 GPT-3.5 Turbo 和 GPT-4 Turbo，且在不被屏蔽的样本上表现略胜一筹。

Gemini Pro 在代码生成任务中的表现如何？

Gemini Pro 在代码生成任务（HumanEval和ODEX）上的首次通过率低于 GPT-3.5 Turbo，远低于 GPT-4 Turbo，尤其在解决方案较长时表现下降明显，但在使用 matplotlib 库的任务上表现突出。

Gemini Pro 的内容过滤机制对评测结果有什么影响？

Gemini Pro 的内容过滤较严格，会屏蔽涉及潜在非法或敏感内容的问题，导致部分响应被屏蔽，这些被视作错误回答，从而拉低了整体准确率，尤其在道德情境、人类性学等任务中屏蔽率较高。

🏷️