七月论文审稿GPT第3.2版和第3.5版：通过paper-review数据集分别微调Mistral、gemma
内容提要
谷歌发布了开源模型Gemma 7B，旨在与Llama和Mistral竞争聊天机器人领域。Gemma 7B在各种基于文本的任务中表现出色，并在大多数任务中超过了Llama和Mistral。模型架构基于Transformer解码器，具有多查询注意力、RoPE嵌入和GeGLU激活等改进。Gemma 2B和7B使用英文数据进行训练，并使用监督学习和强化学习技术进行微调。谷歌在监督微调中使用了混合数据，并为强化学习训练了奖励模型。
延伸解读
Gemma 7B 的定位与竞争格局
谷歌推出 Gemma 7B，意在开源模型领域与 Meta 的 Llama 和 Mistral 形成竞争。文章指出，Gemma 7B 在 18 个文本任务中的 11 个上优于同规模开放模型，包括常识推理、数学、科学和编码等，但在问答任务上稍逊于 Llama 13B。这反映了谷歌在开源策略上的调整，试图通过性能优势吸引开发者，但实际应用效果仍需验证。
架构改进与训练细节
Gemma 基于 Transformer 解码器，上下文长度 8192 token，并引入多查询注意力（2B 用 MQA，7B 用 MHA）、 RoPE 嵌入、GeGLU 激活和 RMSNorm 归一化。训练使用 2T/6T 英文数据，在 4096 个 TPUv5e 上完成。这些改进旨在提升效率，但词表扩大至 256k token，可能导致微调时显存需求增加，如文章提到 48G 显存不足。
微调实践中的显存挑战
文章提到，在使用 paper-review 数据集微调 Gemma 7B 时，即使采用 QLoRA 和 Flash Attention，48G 显存仍不足以支持理想长度 12K 的论文审稿任务。这源于 Gemma 的词表较大（256k token），增加了嵌入层参数和计算开销。对于资源有限的团队，需考虑更小模型或优化技术，但文章未给出具体解决方案。
Q&A
Gemma 7B模型的主要竞争对手是谁？
Gemma 7B的主要竞争对手是Llama和Mistral。
Gemma 7B在文本任务中的表现如何？
Gemma 7B在18个基于文本的任务中，有11个任务的表现优于相似参数规模的开放模型。
Gemma模型的架构有哪些改进？
Gemma模型基于Transformer解码器，采用了多查询注意力、RoPE嵌入和GeGLU激活等改进。
Gemma 2B和7B模型是如何训练的？
Gemma 2B和7B模型使用来自网络文档、数学和代码的主要英语数据进行训练，并通过监督学习和强化学习技术进行微调。
谷歌在Gemma的监督微调中使用了什么数据？
谷歌在监督微调中使用了混合数据，包括文本、英语合成和人类生成的prompt响应。
Gemma模型的词表大小是多少？
Gemma模型的词表大小为256k个token。
