推出DBRX：开创性的新一代开放大语言模型
内容提要
Databricks推出了DBRX，一种开放的通用大语言模型（LLM），超越了GPT-3.5，并与Gemini 1.0 Pro竞争。DBRX为开放LLM设定了新的技术水平，并提供了以前仅限于闭源模型API的功能。它在编程方面优于专门的模型如CodeLLaMA-70B，并在训练和推理性能方面取得了显著改进。DBRX可通过Databricks工具进行预训练或微调，并可供Databricks客户通过API使用。它正在集成到GenAI驱动的产品中，并在RAG任务中是领先的模型。
延伸解读
MoE架构的效率优势
DBRX采用细粒度专家混合（MoE）架构，总参数132B，但每次输入仅激活36B参数。这种设计使其推理速度比LLaMA2-70B快2倍，且训练MoE模型比训练同等质量的密集模型FLOP效率高约2倍。MoE通过稀疏激活在保持模型容量的同时降低计算成本，为开放模型提供了新的效率标杆。
开放权重与商业应用
DBRX的基础模型和指令微调模型权重在Hugging Face上以开放许可证发布，同时Databricks客户可通过API使用，并能基于检查点继续训练或预训练自己的模型。这降低了企业构建定制大模型的门槛，但需注意开放许可证的具体条款可能影响商业部署，企业应评估合规性。
基准测试表现与局限
在MMLU、HumanEval和GSM8K等基准上，DBRX Instruct超越了GPT-3.5，并与Gemini 1.0 Pro竞争。然而，在长上下文任务中，GPT-4 Turbo仍普遍领先，DBRX在32K上下文时性能下降明显。此外，部分对比数据来自各模型创建者的报告，并非全部由Databricks独立复现，读者需谨慎解读。
训练效率的显著提升
DBRX的端到端训练流程在十个月内计算效率提升近4倍。例如，DBRX MoE-A达到与MPT-7B相近的Gauntlet分数，但FLOPs减少3.7倍。这得益于MoE架构、优化策略、更好的tokenizer以及质量提升至少2倍的预训练数据。这些经验可直接应用于企业自建模型，降低训练成本。
Q&A
DBRX与GPT-3.5相比有什么优势？
DBRX在多个基准测试中超越了GPT-3.5，尤其在编程和数学方面表现更佳。
DBRX的架构是什么？
DBRX采用细粒度的专家混合（MoE）架构，具有132B总参数，其中36B参数在任何输入上是活跃的。
如何使用DBRX进行微调？
客户可以通过Databricks工具对DBRX进行预训练或微调，并通过API访问模型。
DBRX在长上下文任务中的表现如何？
DBRX在长上下文任务中表现良好，支持最大32K的上下文窗口。
DBRX的训练效率如何？
DBRX的训练效率显著提高，使用MoE架构使计算效率大幅提升，训练所需的FLOPs减少。
DBRX的开发得到了哪些支持？
DBRX的开发得到了Databricks内部团队和外部社区的支持，未来将继续与社区合作。
