本文介绍了如何使用MosaicML的StreamingDataset库将数据转换为Mosaic Data Shard（MDS）格式，以便高效地训练生成AI模型。文章提供了一个教程，介绍了如何使用流式Spark转换器将Spark数据帧转换为StreamingDataset MDS格式，并解释了如何从UC Volume流式传输数据到MosaicML平台进行LLM训练。

我们已完成对MosaicML的收购，加速生成式AI在企业中的应用。我们将与MosaicML团队合作，降低模型训练和定制的成本，推动模型的民主化。同时，我们将与研究团队合作，创新建模架构，使生成式AI模型更适用于企业。

MosaicML是一家创业公司，旨在通过提供易于训练和部署大型AI模型的工具，帮助AI社区提高预测准确性、降低成本并节省时间。他们的目标是使大型语言模型的使用变得民主化。MosaicML是NVIDIA Inception计划的成员，致力于解决协调大量GPU训练模型的困难和相关成本的问题。最近，MosaicML被Databricks以13亿美元的价格收购。对于许多公司来说，控制模型行为、尊重数据隐私并快速迭代开发基于AI的新产品是非常重要的。

MosaicML在B轮融资中获得5000万美元，估值达到4亿美元，年收入超过1000万美元，增长迅速。Databricks收购时估值约为7.5亿美元，AI基础设施竞争激烈，企业倾向于使用开源模型。