本研究提出了JointDiT模型,通过扩散变换器增强RGB和深度的联合建模。采用自适应调度权重和不平衡时间步采样策略,JointDiT显著提升了图像生成和深度估计的性能,展现了在多种生成任务中的应用潜力。
大型语言模型通过自监督预训练在自然语言处理上取得了显著进展。研究者们探索了复杂的语音标记化方法,以离散化连续语音信号。现有方法往往损失语义或声学信息。本文提出将梅尔滤波器通道离散化为强度箱(dMel),在语音识别和合成中表现优于其他方法,验证了语音与文本联合建模的有效性。
本文综述了口语语言理解中意图检测与槽位填充的联合建模进展,涵盖DGIF、Co-guiding Net、BERT联合模型、SF-ID网络、PromptSLU、AGIF等框架,通过图交互、对比学习、提示学习提升两任务协同,在多个数据集上取得显著性能提升。
完成下面两步后,将自动完成登录并继续当前操作。