T5Gemma 2：下一代编码器-解码器模型
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
T5Gemma 2是基于Gemma 3的多模态长上下文编码器-解码器模型，采用绑定词嵌入和合并注意力机制，显著减少参数量。它支持图像与文本处理，具备更大的上下文窗口和多语言能力，适合快速实验和应用。
🎯
关键要点
- T5Gemma 2是基于Gemma 3的多模态长上下文编码器-解码器模型。
- 采用绑定词嵌入和合并注意力机制，显著减少参数量。
- 支持图像与文本处理，适合快速实验和应用。
- 新模型提供270M-270M、1B-1B和4B-4B等不同参数规模。
- 通过继续预训练，创建高质量、推理高效的模型。
- 引入了关键的结构性改进以提高效率。
- 模型可以理解和处理图像与文本，支持视觉问答和多模态推理任务。
- 上下文窗口扩展至128K个标记，支持更长的上下文处理。
- 训练于更大、更具多样性的数据集，支持140多种语言。
- T5Gemma 2在多模态和长上下文能力上表现优异，超越Gemma 3。
- 适合大型语言模型研究和下游应用，提供预训练检查点供开发者使用。
➡️
