JointDiT: Enhancing RGB-Depth Joint Modeling with Diffusion Transformers

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了JointDiT模型,通过扩散变换器增强RGB和深度的联合建模。采用自适应调度权重和不平衡时间步采样策略,JointDiT显著提升了图像生成和深度估计的性能,展现了在多种生成任务中的应用潜力。

🎯

关键要点

  • JointDiT是一个基于扩散变换器的模型,用于RGB和深度的联合分布建模。
  • 该模型采用自适应调度权重,依赖于每种模态的噪声水平。
  • JointDiT使用不平衡时间步采样策略,显著提高了图像生成和深度估计的性能。
  • 研究展示了联合分布建模在多种生成任务中的潜在应用价值。
➡️

继续阅读