非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1
内容提要
阿布扎比技术创新研究所发布了开源Mamba模型Falcon Mamba 7B，采用Mamba架构处理文本生成任务。该模型无需增加内存存储，可在单个24GB A10 GPU上运行。与同尺寸的Transformer模型相比，Falcon Mamba 7B在基准测试中表现更好。
延伸解读
Mamba架构的突破与局限
Falcon Mamba 7B采用Mamba状态空间语言模型架构，通过动态调整参数处理长序列，无需增加内存存储，可在单个24GB A10 GPU上运行。这克服了Transformer注意力机制在长文本处理时的计算和内存限制。然而，在MMLU和Hellaswag基准测试中，该模型远落后于同尺寸Transformer模型，表明其在某些任务上仍有不足。
性能表现与适用场景
在Arc、TruthfulQA和GSM8K基准测试中，Falcon Mamba 7B得分分别为62.03%、53.42%和52.54%，超越了Llama 3 8B、Llama 3.1 8B、Gemma 7B和Mistral 7B。其生成吞吐量恒定，CUDA峰值内存不随生成token数增加而增长，适合需要处理长文本的企业级机器翻译、文本摘要等任务。
训练策略与数据构成
Falcon Mamba 7B训练数据高达5500GT，主要由RefinedWeb数据集组成，并添加了高质量技术、代码和数学数据。采用多阶段训练策略，上下文长度从2048增加到8192，并受课程学习启发精心选择混合数据。训练在256个H100 80GB GPU上完成，使用AdamW优化器和WSD学习率计划，耗时约两个月。
开源许可与模型变体
Falcon Mamba 7B采用基于Apache 2.0的Falcon License 2.0，支持研究和应用目的。模型分为基础版本、指令微调版本、4bit版本和指令微调4bit版本，满足不同部署需求。作为TII开源的第四个模型，也是首个Mamba SSLM架构模型，其Falcon系列语言模型下载量已超过4500万次。
Q&A
Falcon Mamba 7B模型的主要特点是什么？
Falcon Mamba 7B模型采用Mamba架构，能够在单个24GB A10 GPU上运行，无需增加内存存储，并在基准测试中超越同尺寸的Transformer模型。
Falcon Mamba 7B与Transformer模型相比有什么优势？
Falcon Mamba 7B在生成吞吐量和上下文长度方面优于当前的Transformer模型，能够处理更大的序列而不增加内存需求。
Falcon Mamba 7B的训练数据来源是什么？
Falcon Mamba 7B的训练数据高达5500GT，主要由RefinedWeb数据集组成，并添加了来自公共源的高质量技术数据、代码数据和数学数据。
Falcon Mamba 7B的许可证是什么？
Falcon Mamba 7B采用Apache 2.0许可证，支持研究和应用目的。
Falcon Mamba 7B的训练过程是怎样的？
Falcon Mamba 7B的训练在256个H100 80GB GPU上完成，采用多阶段训练策略，使用AdamW优化器和特定的学习率计划。
Falcon Mamba 7B的下载量如何？
TII的Falcon系列语言模型下载量已超过4500万次，Falcon Mamba 7B成为阿联酋最成功的LLM版本之一。
