本文综述了大型多模态模型的训练技术，提出了一种动态数据并行训练方法，优化了模型训练时间。研究表明，微批量大小为1时可实现最高效的训练布局，新系统Optimus能提升训练速度20.5%-21.3%。此外，Crius系统通过优化调度提高了集群吞吐量和作业完成时间。