推出DBRX：开创性的新一代开放大语言模型
原文英文，约3600词，阅读约需14分钟。
📝
内容提要
Databricks推出了DBRX，一种开放的通用大语言模型（LLM），超越了GPT-3.5，并与Gemini 1.0 Pro竞争。DBRX为开放LLM设定了新的技术水平，并提供了以前仅限于闭源模型API的功能。它在编程方面优于专门的模型如CodeLLaMA-70B，并在训练和推理性能方面取得了显著改进。DBRX可通过Databricks工具进行预训练或微调，并可供Databricks客户通过API使用。它正在集成到GenAI驱动的产品中，并在RAG任务中是领先的模型。
❓
Q&A
DBRX与GPT-3.5相比有什么优势？
DBRX在多个基准测试中超越了GPT-3.5，尤其在编程和数学方面表现更佳。
DBRX的架构是什么？
DBRX采用细粒度的专家混合（MoE）架构，具有132B总参数，其中36B参数在任何输入上是活跃的。
如何使用DBRX进行微调？
客户可以通过Databricks工具对DBRX进行预训练或微调，并通过API访问模型。
DBRX在长上下文任务中的表现如何？
DBRX在长上下文任务中表现良好，支持最大32K的上下文窗口。
DBRX的训练效率如何？
DBRX的训练效率显著提高，使用MoE架构使计算效率大幅提升，训练所需的FLOPs减少。
DBRX的开发得到了哪些支持？
DBRX的开发得到了Databricks内部团队和外部社区的支持，未来将继续与社区合作。
🏷️
