Google发布了升级版的gemma聊天机器人，gemma2。Gemma 7B在各种基于文本的任务中表现出色，并在大多数任务中优于llama2 7B/13B和Mistral 7B。Gemma模型的架构基于Transformer解码器，包括多头/多查询注意力、RoPE、GeGLU和RMSNorm等特性。Gemma 7B是在一个包含6万亿个标记的大型数据集上训练的。Google使用了监督微调和强化学习与人类反馈相结合的方法来优化gemma模型。