InfoQ
·
Gemma 3n可用于设备端推理，配合RAG和函数调用库
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
谷歌宣布Gemma 3n在LiteRT Hugging Face社区预览，支持文本、图像、视频和音频输入。该多模态小语言模型有2B和4B参数变体，适合企业使用。Gemma 3n采用选择性参数激活技术，支持高效管理，并推出量化工具以减少模型大小和延迟。此外，还发布了AI Edge On-device Function Calling SDK，允许模型执行实际操作。
🎯
关键要点
- 谷歌宣布Gemma 3n在LiteRT Hugging Face社区预览，支持文本、图像、视频和音频输入。
- Gemma 3n有2B和4B参数变体，适合企业使用，支持微调和定制。
- Gemma 3n采用选择性参数激活技术，支持高效管理。
- 新发布的量化工具可减少模型大小和延迟，int4量化可将语言模型大小减少2.5-4倍。
- 模型支持在设备上进行检索增强生成（RAG），增强语言模型的应用特定数据。
- AI Edge On-device Function Calling SDK允许模型执行实际操作，支持生成结构化函数调用。
- Google AI Edge Gallery是展示各种模型和支持文本、图像、音频处理的实验性应用。
➡️
