💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
IBM推出Granite 4.0小型语言模型系列，采用混合Mamba/变换器架构，显著降低内存需求和运行成本，同时保持高准确性。Granite提供三种模型变体，适用于不同场景，支持高效推理和长输入处理，已在Hugging Face和watsonx.ai上开源，并获得ISO/IEC 42001:2023认证。
🎯
关键要点
- IBM推出Granite 4.0小型语言模型系列，采用混合Mamba/变换器架构，显著降低内存需求和运行成本。
- Granite 4.0提供三种模型变体，适用于不同场景，支持高效推理和长输入处理。
- Granite在处理长输入和多个并发批次时，内存需求减少超过70%。
- Granite的混合架构结合了标准变换器注意力层和大多数Mamba层，提升了性能。
- Granite模型包括Micro、Tiny和Small，分别针对不同的使用场景。
- Granite模型在Hugging Face和watsonx.ai上开源，并提供在线试用平台。
- IBM获得ISO/IEC 42001:2023认证，确保AI管理系统的伦理性和透明度。
➡️
