在Databricks模型服务中引入Mixtral 8x7B

Databricks宣布支持Mixtral 8x7B在模型服务中。Mixtral 8x7B是一种稀疏的专家混合（MoE）开放语言模型，可以处理长的上下文长度并提供更快的推理。Databricks模型服务提供即时访问Mixtral 8x7B，具有按需定价和无缝向量存储集成以及自动化质量监控等功能。MoE架构允许模型大小的扩展而不会导致推理时间计算的成比例增加。Databricks还为Mixtral 8x7B提供了一个简单且适用于生产的API，方便对模型进行比较和管理。