无源领域适应与扩散指导的源数据生成
内容提要
本文综述无源域自适应（SFDA）研究进展：在仅能访问源模型和目标无标签数据的条件下，通过扩散模型生成源数据、图像风格转换、局部结构聚类与稀疏域注意力、球形K均值伪标签、Transformer注意力蒸馏、CLIP多模态蒸馏、概率不确定性建模、课程学习伪标签筛选及一致性正则化等方法提升目标域性能，多项工作达到最先进水平。
延伸解读
扩散模型生成源数据的思路
文章提到一种新框架，利用在目标领域样本上训练的文本到图像扩散模型生成源数据，再通过域适应技术将生成数据与目标数据对齐。这为解决无源域适应中源数据缺失问题提供了新思路，即用生成模型模拟源分布，但生成质量和对齐效果可能影响最终性能。
从风格转换到聚类与注意力
早期工作尝试将目标图像风格转换为源风格，以便用预训练模型分类。随后研究转向局部结构聚类和稀疏域注意力，在保持源信息的同时激活不同特征通道。这些方法在VisDA上达到85.4%的准确率，表明结合聚类与注意力能有效提升目标域表现。
伪标签与不确定性建模的演进
SFDA-DE采用球形K均值生成伪标签并估计源分布，TransDA利用Transformer注意力蒸馏，DIFO则蒸馏CLIP多模态知识。此外，概率不确定性建模和课程学习伪标签筛选被用于对抗域漂移。这些技术共同推动SFDA在多个基准上达到最先进水平。
一致性正则化与聚类视角
最新方法通过一致性正则化、软伪标签和全局校准提升泛化能力，并在未知测试集上展现鲁棒性。另一项工作将SFDA视为无监督聚类问题，优化特征空间局部邻居的预测一致性。这些方法联系了域适应、无源域适应与对比学习，为未来研究提供了统一视角。
Q&A
无源域自适应（SFDA）是什么？它和传统域自适应有什么区别？
无源域自适应（SFDA）旨在仅使用在源域上预训练的模型和无标签的目标域数据，将模型适应到目标域，而无法访问源域数据。传统域自适应通常需要同时访问源域和目标域数据。
在无源域自适应中，扩散模型是如何被用来生成源数据的？
一种新框架使用在目标领域样本上训练的文本到图像扩散模型生成源数据，然后使用域自适应技术将生成的源数据与目标领域数据对齐，从而显著提高目标领域模型的性能。
有哪些方法可以解决无源域自适应中的伪标签噪声问题？
可以采用球形K均值聚类生成伪标签、基于采样的伪标签选择策略、课程学习筛选伪标签以及一致性正则化框架等方法来处理伪标签噪声。
无源域自适应中如何利用Transformer或注意力机制提升性能？
TransDA框架将Transformer作为注意力机制注入卷积网络，并针对目标伪标签进行自监督知识蒸馏，使模型注意力集中于目标域对象区域，提高泛化能力。此外，稀疏域注意力（SDA）可激活不同领域的特征通道。
CLIP等多模态模型在无源域自适应中有什么作用？
DIFO方法首次探索了现成的视觉-语言多模态模型（如CLIP）的潜力，通过蒸馏多模态基础模型来解决现有方法中的错误问题，并通过两步交替使其任务特定化，实验表明DIFO显著优于现有方法。
无源域自适应中如何通过概率模型或不确定性量化来提升适应效果？
一种基于概率模型的SFDA方法通过量化源模型预测中的不确定性来指导目标适应，以对抗域漂移和缺乏源数据的问题，且计算轻量、与源训练和目标适应相独立。
