量子位
·
李飞飞团队提出架构设计新思路！无需从头训练，直接“嫁接”预训练模型关键组件
💡
原文中文，约2600字，阅读约需6分钟。
📝
内容提要
李飞飞团队提出了一种名为“嫁接”的新方法，通过修改预训练模型组件，节省计算资源并验证新架构设计。研究表明，使用不到2%的预训练算力仍能保持模型性能，并提升生成速度，适合资源有限的场景。
🎯
关键要点
- 李飞飞团队提出了一种名为“嫁接”的新方法，通过修改预训练模型组件来节省计算资源。
- 该方法使用不到2%的预训练算力，仍能保持模型性能并提升生成速度。
- 研究重点关注DiTs模型，构建了基于DiT-XL/2的测试平台。
- 通过激活蒸馏和轻量级微调两阶段架构编辑法来验证新架构。
- 自嫁接作为对照实验，评估“嫁接”过程对模型的影响。
- 实验结果显示，混合设计的生成质量接近原模型，计算成本低。
- 在文生图模型PixArt-Σ中应用“嫁接”，生成速度提高1.43倍，质量下降小于2%。
- 并行化改造实验验证了架构重组的有效性，提升了生成质量。
- 研究局限性在于仅在DiT-XL/2模型上验证，结论的普适性受限。
- “嫁接”方法在高效利用计算资源的场景中显示出潜力，相关模型已开源。
➡️
