谷歌开源27B参数的Gemma 2语言模型
内容提要
Google DeepMind开源了Gemma 2，这是他们家族中下一代的小型语言模型。Gemma 2在Gemma架构上进行了多项改进，并使用知识蒸馏使模型达到了最先进的性能。Gemma 2在性能上超过了其他相同规模的模型，并与规模大两倍的模型竞争。Gemma 2通过引入Google旗舰模型Gemini的思想，包括分组查询注意力机制和全局注意力与局部滑动窗口注意力的混合，改进了第一代Gemma架构。Google训练了三种规模的Gemma 2模型：分别使用了20亿、90亿和270亿个参数。在LLM基准测试中，27B参数的Gemma 2模型超过了基准Qwen1.5 32B模型，并且与规模更大的70B参数Llama 3模型相差不大。Gemma 2的发布延续了小型开放语言模型家族的行业趋势，如微软的Phi和Meta的Llama。这些模型通过引入GQA等架构改进和高质量的训练数据，实现了比小型模型预期更好的性能。Google还将27B和9B模型的指令调整版本提交到了Chatbot Arena，在那里模型通过人类评委进行“盲目对比评估”。Gemma 2 27B目前是最高排名的开放模型，超过了Llama 3 70B。9B版本也表现不错，Google表示“在相同参数范围内明显优于其他模型”。用户可以通过Google的AI Studio或Google Cloud Platform的Vertex AI在Web上访问Gemma 2模型。9B和27B的Gemma 2模型可以从Huggingface和Kaggle下载。
延伸解读
知识蒸馏：小模型实现高性能的关键
Gemma 2 的 2B 和 9B 版本通过知识蒸馏训练，使用更大的语言模型作为教师。Google 指出，蒸馏比原始文本训练更有效，训练输出概率比纯下一词预测能产生更优结果。这种方法让较小模型获得了以往仅在大规模 LLM 中才有的能力，为小模型性能突破提供了新思路。
架构改进：借鉴 Gemini 的注意力机制
Gemma 2 在初代 Gemma 基础上引入了 Google 旗舰模型 Gemini 的思想，包括分组查询注意力（GQA）以及全局注意力与局部滑动窗口注意力的混合。这些改进提升了模型效率与效果，使其在同等规模中表现突出，并能与两倍大小的模型竞争。
实际表现：基准测试与人类评估双优
在 MMLU、GSM8K 和 Winogrande 等基准上，27B Gemma 2 超越了 Qwen1.5 32B，仅比 70B Llama 3 低几个百分点。在 Chatbot Arena 的人类盲评中，27B 版本成为最高排名的开放模型，超过 Llama 3 70B；9B 版本也显著优于同参数范围的其他模型。
社区反馈：多语言能力意外获赞
尽管 Google 在论文中未强调多语言能力，但社区用户反馈 Gemma 2 27B 在多种冷门语言上近乎完美，常见语言上可能完美，9B 版本也足够连贯。有用户称其为首个可离线运行且真正有效的全能翻译工具。研究者 Sebastian Raschka 则期待与更新的 Qwen 2 进行对比。
Q&A
Gemma 2模型有哪些改进？
Gemma 2在Gemma架构上进行了多项改进，包括引入分组查询注意力机制和混合的全局与局部滑动窗口注意力。
Gemma 2模型的参数规模有哪些？
Gemma 2模型有三种规模，分别是20亿、90亿和270亿个参数。
Gemma 2在基准测试中的表现如何？
在LLM基准测试中，27B参数的Gemma 2模型超过了Qwen1.5 32B模型，并与70B参数的Llama 3相差不大。
用户如何访问Gemma 2模型？
用户可以通过Google的AI Studio或Google Cloud Platform的Vertex AI访问Gemma 2模型，9B和27B模型也可以从Huggingface和Kaggle下载。
Gemma 2模型的许可证是什么？
Gemma 2模型以“商业友好”的Apache 2.0许可证发布。
Gemma 2模型的多语言能力如何？
Gemma 2被认为是一个有效的多语言工具，27B模型在一些冷门语言中表现接近完美，在大多数常见语言中也表现良好。
