谷歌开源27B参数的Gemma 2语言模型

Google DeepMind开源了Gemma 2，这是他们家族中下一代的小型语言模型。Gemma 2在Gemma架构上进行了多项改进，并使用知识蒸馏使模型达到了最先进的性能。Gemma 2在性能上超过了其他相同规模的模型，并与规模大两倍的模型竞争。Gemma 2通过引入Google旗舰模型Gemini的思想，包括分组查询注意力机制和全局注意力与局部滑动窗口注意力的混合，改进了第一代Gemma架构。Google训练了三种规模的Gemma 2模型：分别使用了20亿、90亿和270亿个参数。在LLM基准测试中，27B参数的Gemma 2模型超过了基准Qwen1.5 32B模型，并且与规模更大的70B参数Llama 3模型相差不大。Gemma 2的发布延续了小型开放语言模型家族的行业趋势，如微软的Phi和Meta的Llama。这些模型通过引入GQA等架构改进和高质量的训练数据，实现了比小型模型预期更好的性能。Google还将27B和9B模型的指令调整版本提交到了Chatbot Arena，在那里模型通过人类评委进行“盲目对比评估”。Gemma 2 27B目前是最高排名的开放模型，超过了Llama 3 70B。9B版本也表现不错，Google表示“在相同参数范围内明显优于其他模型”。用户可以通过Google的AI Studio或Google Cloud Platform的Vertex AI在Web上访问Gemma 2模型。9B和27B的Gemma 2模型可以从Huggingface和Kaggle下载。