💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
谷歌Gemma 3新版本通过量化感知训练（QAT）优化，显著降低内存需求，27B模型的VRAM从54GB降至14.1GB，支持在消费级GPU上运行，用户可在RTX 3090等设备上轻松使用，提升AI功能。
🎯
关键要点
- 谷歌Gemma 3新版本经过量化感知训练（QAT）优化，显著降低内存需求。
- 27B模型的VRAM从54GB降至14.1GB，支持在消费级GPU上运行。
- 用户可在RTX 3090等设备上轻松使用Gemma 3，提升AI功能。
- QAT将量化过程融入训练阶段，保持模型质量。
- Gemma 3不同版本的VRAM需求显著减少，12B版本从24GB降至6.6GB。
- Gemma 3 27B (int4)可在单张NVIDIA RTX 3090上本地运行。
- Gemma 3 12B (int4)可在NVIDIA RTX 4060等笔记本电脑GPU上高效运行。
- 更小型号（4B、1B）为资源有限的系统提供可访问性。
- 谷歌与开发者工具合作，用户可无缝体验基于QAT的量化checkpoint。
- 网友对Gemma 3的本地运行表示兴奋，期待进一步的量化技术进展。
➡️
