DriveDiTFit：面向自动驾驶的精调扩散 Transformer
内容提要
本文介绍了多种基于扩散模型的创新方法，如DiffFit、DiffiT、TerDiT、WcDT和FiT，旨在提升模型在新领域的适应性和生成能力。DiffFit通过微调特定层实现快速适应，FiT解决了图像分辨率问题，WcDT优化了自动驾驶轨迹生成。这些方法在多个任务中表现出色，展示了扩散模型的广泛应用潜力。
延伸解读
参数高效微调的实际意义
DiffFit 通过仅微调特定层的偏差项和新增缩放因子，实现了 2 倍训练加速和极低存储成本。这为在有限计算资源下快速适配大规模预训练扩散模型提供了可行路径，尤其适合需要频繁迁移到新领域的场景。
扩散 Transformer 的架构演进
从 DiT 用 Transformer 替换 U-Net 骨干，到 FiT 支持无限制分辨率和宽高比，再到 TerDiT 探索低比特量化部署，扩散 Transformer 正朝着更灵活、更高效的方向发展。这些改进共同拓展了模型在不同任务和硬件条件下的适用性。
自动驾驶轨迹生成的扩散方案
WcDT 和 CDT 将扩散模型与 Transformer 结合用于轨迹生成。WcDT 优化整个生成流程，CDT 则融入地图信息和社交交互，并通过行为标记确保多模态输出。两者在 Argoverse 2 等基准上表现出色，显示了扩散模型在自动驾驶仿真中的潜力。
知识传递与模型扩展策略
SDFT 利用自蒸馏从源模型提取通用特征，在有限目标数据上提升生成能力；DiffScaler 则让单一预训练扩散 Transformer 快速适应不同数据集。这些方法共同解决了数据稀缺和任务多样化的挑战，增强了模型的泛化性和实用性。
Q&A
DiffFit的主要优势是什么？
DiffFit通过微调特定层实现快速适应，训练加速达到2倍，存储成本极低。
WcDT框架在自动驾驶中的应用效果如何？
WcDT框架优化了自动驾驶轨迹生成过程，表现出卓越性能，显示了集成到自动驾驶模拟系统的潜力。
FiT架构解决了什么问题？
FiT架构专门用于生成具有无限制分辨率和宽高比的图像，克服了传统图像处理中的分辨率挑战。
TerDiT模型的创新点是什么？
TerDiT是一种针对三态扩散模型的量化感知训练方案，展示了低比特扩散变压器模型的可行性。
CDT轨迹生成器如何提高轨迹预测的准确性？
CDT将地图信息和社交交互融入条件去噪扩散模型中，确保生成的轨迹多样且符合场景要求。
DiffiT模型在生成任务中表现如何？
DiffiT模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成高保真度图片。
