随着语言模型词汇量的增加，交叉熵的内存占用显著上升。我们提出了Cut Cross-Entropy（CCE）方法，仅计算正确标记的logit，从而显著降低内存消耗。以Gemma 2模型为例，CCE将损失计算的内存从24GB降至1MB，训练时间内存从28GB降至1GB，且不影响训练速度和收敛性。

Google发布了开放模型Gemma 2，提供9B和27B两种参数规模的选择，支持8192 tokens的上下文长度。用户可以在Hugging Face和Kaggle上免费获取模型权重，并通过多种主流框架进行模型部署。Gemma 2还支持模型的fine-tuning，与主流训练框架完全兼容。Google Cloud提供高级解决方案，帮助用户大规模、自动化地训练开放模型。

Google DeepMind开源了Gemma 2，这是他们家族中下一代的小型语言模型。Gemma 2在Gemma架构上进行了多项改进，并使用知识蒸馏使模型达到了最先进的性能。Gemma 2在性能上超过了其他相同规模的模型，并与规模大两倍的模型竞争。Gemma 2通过引入Google旗舰模型Gemini的思想，包括分组查询注意力机制和全局注意力与局部滑动窗口注意力的混合，改进了第一代Gemma架构。Google训练了三种规模的Gemma 2模型：分别使用了20亿、90亿和270亿个参数。在LLM基准测试中，27B参数的Gemma 2模型超过了基准Qwen1.5 32B模型，并且与规模更大的70B参数Llama 3模型相差不大。Gemma 2的发布延续了小型开放语言模型家族的行业趋势，如微软的Phi和Meta的Llama。这些模型通过引入GQA等架构改进和高质量的训练数据，实现了比小型模型预期更好的性能。Google还将27B和9B模型的指令调整版本提交到了Chatbot Arena，在那里模型通过人类评委进行“盲目对比评估”。Gemma 2 27B目前是最高排名的开放模型，超过了Llama 3 70B。9B版本也表现不错，Google表示“在相同参数范围内明显优于其他模型”。用户可以通过Google的AI Studio或Google Cloud Platform的Vertex AI在Web上访问Gemma 2模型。9B和27B的Gemma 2模型可以从Huggingface和Kaggle下载。

NVIDIA和Google在Google I/O '24上宣布了三个新的合作项目，旨在帮助开发者更轻松地创建AI应用。合作包括优化三个新模型Gemma 2、PaliGemma和RecurrentGemma的性能和效率。他们还宣布，开源GPU dataframe库RAPIDS cuDF现在支持Google Colab，使开发者能够加速数据分析。此外，他们还宣布了关于Firebase Genkit的合作，使应用开发者能够将生成式AI模型集成到他们的Web和移动应用中。NVIDIA和Google Cloud的合作旨在推动AI在多个领域的发展。