AnyDoor笔记
💡
原文中文，约2600字，阅读约需7分钟。
📝
内容提要
香港大学和阿里联合提出了一种基于扩散的生成器AnyDoor，用于对象隐形传态。该研究使用判别ID提取器和频率感知细节提取器来表征目标对象。AnyDoor为区域到区域的映射任务提供了通用解决方案，并可应用于各种应用。该研究还介绍了背景移除和自监督表示的方法，以及特征注入和训练策略。通过使用视频数据集和自适应训练步长，该方法能够更好地学习外观变化和精细细节。
🎯
关键要点
- 香港大学与阿里联合提出了基于扩散的生成器AnyDoor，用于对象隐形传态。
- AnyDoor使用判别ID提取器和频率感知细节提取器来表征目标对象。
- 该方法为区域到区域的映射任务提供了通用解决方案，适用于多种应用。
- 背景移除通过分割模型删除背景，并将目标物体与背景中心对齐。
- 自监督表示保留物体判别特征，使用DINO2作为编码器进行特征提取。
- 细节特征提取使用拼贴作为控件，改善生成保真度并防止外观约束。
- 特征注入将ID标记和细节图注入到预训练的文本到图像扩散模型中。
- 训练策略包括使用视频数据集捕获相同对象的不同帧以增强训练样本。
- 自适应训练步长结合视频和图像数据，优化去噪训练的不同阶段。
➡️
