研究团队首次从头预训练三模态掩码扩散模型，统一处理文本、图文和音频文本数据，系统分析多模态缩放规律、模态混合比例、噪声调度和批大小影响，提出基于随机微分方程的重参数化方法解耦物理与逻辑批大小，在30亿参数、6.4万亿token规模上于文本生成、文生图和文生语音任务中表现优异。
CAR-Flow是一种条件感知重参数化方法，旨在通过调整源和目标分布来优化流匹配，从而缩短模型学习的概率路径，加快训练速度。在低维合成数据和高维自然图像数据（如ImageNet-256）上，CAR-Flow显著提高了性能，减少了FID值，同时仅增加了不到0.6%的参数。
本研究提出了一种新的混合查找专家架构（MoLE），旨在解决混合专家模型在推理时对大量专家的依赖问题。MoLE通过重参数化专家为查找表，提高了通信和显存效率。实验结果表明，MoLE的推理速度与稠密模型相当，且显著快于传统的混合专家模型，同时保持了性能水平。
本文提出了一种新的重参数化垂直注意融合模块（RVAFM），旨在提高手写段落文本识别的效率。该模块在训练时采用多分支结构，推理时转换为单分支，最终在IAM测试集上实现了4.44%的字符错误率和14.37%的单词错误率，同时推理速度也有所提升。
完成下面两步后，将自动完成登录并继续当前操作。
