第三方评测对比了Gemini Pro与GPT-3.5 Turbo、GPT-4 Turbo及Mixtral在10个数据集上的语言能力。Gemini Pro准确率接近但略低于GPT-3.5 Turbo，远不及GPT-4。其不足包括多位数字数学推理弱、多选题答案排序偏差、内容过滤过严导致响应被屏蔽；亮点是长复杂推理链、非英语生成及部分任务表现较好。