一文速览Gemma及其微调(第5.2版)：通过我司七月的早期paper-7方面review数据集微调Gemma2
内容提要
Google发布了升级版的gemma聊天机器人，gemma2。Gemma 7B在各种基于文本的任务中表现出色，并在大多数任务中优于llama2 7B/13B和Mistral 7B。Gemma模型的架构基于Transformer解码器，包括多头/多查询注意力、RoPE、GeGLU和RMSNorm等特性。Gemma 7B是在一个包含6万亿个标记的大型数据集上训练的。Google使用了监督微调和强化学习与人类反馈相结合的方法来优化gemma模型。
延伸解读
Gemma 7B 的架构特点与微调挑战
Gemma 7B 基于 Transformer 解码器，采用多头注意力、RoPE、GeGLU 和 RMSNorm 等改进。其上下文长度达 8192 token，词表大小为 256K，训练数据量高达 6 万亿 token。这些特性提升了模型能力，但也导致微调时显存需求较高，例如在论文审稿任务中，即使使用 QLoRA 和 Flash Attention，48G 显存仍可能不足。
Gemma 与 Llama、Mistral 的竞争格局
Google 推出 Gemma 旨在与 Meta 的 Llama 和 Mistral 在开源模型领域形成三足鼎立之势。Gemma 7B 在 18 个文本任务中的 11 个上优于同规模开放模型，包括超越 Llama2 7B/13B 和 Mistral 7B，但在问答任务上稍逊于 Llama 13B。这反映了开源模型竞争的激烈程度，也为开发者提供了更多选择。
Gemma 的微调方法与优化策略
Google 对 Gemma 采用了预训练、指令调优和 RLHF 相结合的方法。具体包括在混合数据上进行监督微调，以及利用偏好数据训练奖励模型进行强化学习。此外，Google 使用基于 LM 的并行评估来选择微调数据，并构建不同 prompt 集来突出指令遵循、真实性等能力。这些策略有助于提升模型的对齐性和实用性。
Q&A
Gemma 7B的训练数据集有多大？
Gemma 7B是在一个包含6万亿个标记的大型数据集上训练的。
Gemma 7B在文本任务中的表现如何？
Gemma 7B在18个基于文本的任务中有11个优于相似参数规模的开放模型。
Gemma模型的架构有哪些特点？
Gemma模型基于Transformer解码器，包含多头/多查询注意力、RoPE、GeGLU和RMSNorm等特性。
Google是如何优化Gemma模型的？
Google使用了监督微调和强化学习与人类反馈相结合的方法来优化Gemma模型。
Gemma 7B的上下文长度和词表大小是多少？
Gemma 7B的上下文长度为8192个token，词表为256K。
Gemma与其他模型相比有什么优势？
Gemma 7B在大多数任务中优于llama2 7B/13B和Mistral 7B，表现出色。
