研究团队首次从头预训练三模态掩码扩散模型，统一处理文本、图文和音频文本数据，系统分析多模态缩放规律、模态混合比例、噪声调度和批大小影响，提出基于随机微分方程的重参数化方法解耦物理与逻辑批大小，在30亿参数、6.4万亿token规模上于文本生成、文生图和文生语音任务中表现优异。