量子位
·
李飞飞团队提出架构设计新思路！无需从头训练，直接“嫁接”预训练模型关键组件
💡
原文中文，约2600字，阅读约需6分钟。
📝
内容提要
李飞飞团队提出了一种名为“嫁接”的新方法，通过修改预训练模型组件，节省计算资源并验证新架构设计。研究表明，使用不到2%的预训练算力仍能保持模型性能，并提升生成速度，适合资源有限的场景。
🎯
关键要点
- 李飞飞团队提出了一种名为“嫁接”的新方法，通过修改预训练模型组件来节省计算资源。
- 该方法使用不到2%的预训练算力，仍能保持模型性能并提升生成速度。
- 研究重点关注DiTs模型，构建了基于DiT-XL/2的测试平台。
- 通过激活蒸馏和轻量级微调两阶段架构编辑法来验证新架构。
- 自嫁接作为对照实验，评估“嫁接”过程对模型的影响。
- 实验结果显示，混合设计的生成质量接近原模型，计算成本低。
- 在文生图模型PixArt-Σ中应用“嫁接”，生成速度提高1.43倍，质量下降小于2%。
- 并行化改造实验验证了架构重组的有效性，提升了生成质量。
- 研究局限性在于仅在DiT-XL/2模型上验证，结论的普适性受限。
- “嫁接”方法在高效利用计算资源的场景中显示出潜力，相关模型已开源。
❓
延伸问答
什么是李飞飞团队提出的“嫁接”方法？
“嫁接”方法是通过修改预训练模型组件来节省计算资源，直接利用预训练模型作为基础进行新架构设计。
使用“嫁接”方法的主要优势是什么？
该方法使用不到2%的预训练算力，仍能保持模型性能并提升生成速度，适合资源有限的场景。
李飞飞团队在研究中使用了哪些模型？
研究主要关注DiTs模型，特别是基于DiT-XL/2的测试平台。
“嫁接”方法如何验证新架构的有效性？
通过激活蒸馏和轻量级微调两阶段架构编辑法来验证新架构的有效性。
在文生图模型PixArt-Σ中应用“嫁接”后的效果如何？
应用“嫁接”后，生成速度提高了1.43倍，生成图像的质量下降小于2%。
研究的局限性是什么？
研究仅在DiT-XL/2模型上进行验证，且只测试了替换成Hyena-X和SWA的效果，结论的普适性受限。
➡️
