InfoQ
·
IBM新推出的Granite 4模型：采用高效推理的混合Mamba-2架构，降低人工智能成本
内容提要
IBM推出Granite 4.0小型语言模型系列，采用混合Mamba/变换器架构，显著降低内存需求和运行成本，同时保持高准确性。Granite提供三种模型变体，适用于不同场景，支持高效推理和长输入处理，已在Hugging Face和watsonx.ai上开源，并获得ISO/IEC 42001:2023认证。
关键要点
-
IBM推出Granite 4.0小型语言模型系列，采用混合Mamba/变换器架构，显著降低内存需求和运行成本。
-
Granite 4.0提供三种模型变体，适用于不同场景，支持高效推理和长输入处理。
-
Granite在处理长输入和多个并发批次时，内存需求减少超过70%。
-
Granite的混合架构结合了标准变换器注意力层和大多数Mamba层，提升了性能。
-
Granite模型包括Micro、Tiny和Small，分别针对不同的使用场景。
-
Granite模型在Hugging Face和watsonx.ai上开源，并提供在线试用平台。
-
IBM获得ISO/IEC 42001:2023认证，确保AI管理系统的伦理性和透明度。
延伸解读
Granite 4.0的架构优势
Granite 4.0采用混合Mamba/变换器架构，显著降低了内存需求，使其在处理长输入和多个并发批次时，内存需求减少超过70%。这种设计不仅提升了推理速度，还保持了与大型模型相当的准确性，适合需要高效推理的企业应用。
多样化的模型选择
Granite 4.0提供Micro、Tiny和Small三种模型变体，满足不同场景的需求。Micro适合高频低复杂度任务，而Small则针对需要更强性能的企业工作流。这种灵活性使得用户可以根据具体需求选择合适的模型，优化成本和效率。
开源与伦理认证
Granite 4.0在Hugging Face和watsonx.ai上开源，用户可以在线试用并进行微调。这种开放性与Meta的LLaMa模型形成对比，后者的开源性质受到质疑。此外，IBM获得ISO/IEC 42001:2023认证，确保其AI管理系统在伦理和透明度方面的合规性，增强了用户对其产品的信任。
延伸问答
Granite 4.0模型的主要特点是什么？
Granite 4.0模型采用混合Mamba/变换器架构，显著降低内存需求和运行成本，同时保持高准确性。
Granite 4.0提供了哪些模型变体？
Granite 4.0提供Micro、Tiny和Small三种模型变体，适用于不同的使用场景。
Granite 4.0在内存需求方面的优势是什么？
Granite 4.0在处理长输入和多个并发批次时，内存需求减少超过70%。
Granite 4.0模型的推理速度如何？
Granite 4.0的推理速度在上下文长度或批量大小增加时仍然保持高效。
Granite 4.0模型的开源情况如何？
Granite 4.0模型已在Hugging Face和watsonx.ai上开源，并提供在线试用平台。
IBM获得的ISO/IEC 42001:2023认证有什么意义？
该认证确保IBM Granite的AI管理系统在伦理性和透明度方面符合标准。
