谷歌发布了开源模型Gemma 7B，旨在与Llama和Mistral竞争聊天机器人领域。Gemma 7B在各种基于文本的任务中表现出色，并在大多数任务中超过了Llama和Mistral。模型架构基于Transformer解码器，具有多查询注意力、RoPE嵌入和GeGLU激活等改进。Gemma 2B和7B使用英文数据进行训练，并使用监督学习和强化学习技术进行微调。谷歌在监督微调中使用了混合数据，并为强化学习训练了奖励模型。