神经网络是现代AI系统的核心,但理解其工作原理较为困难。可解释性方法帮助我们理解模型输出的原因。机械可解释性通过逆向工程模型计算,尽管复杂,但能提供更全面的解释。通过训练稀疏模型,我们发现可以简化模型内部计算,使其更易于理解。未来,我们希望扩展这些技术,以更好地解释大型模型的行为。
Mixture-of-Experts (MoE)模型在提升模型能力和控制推理成本方面至关重要。我们提出了一种高效的训练策略CLIP-Upcycling(CLIP-UP),将预训练的密集CLIP模型转化为稀疏MoE架构。实验结果表明,CLIP-UP显著降低了训练复杂性和成本,稀疏CLIP B/16模型在COCO和Flickr30k基准测试中分别超越密集模型7.2%和6.6%。该方法在不同规模上表现良好,为构建高效CLIP模型提供了可行方案。
本文介绍了一种针对大型视觉语言模型的训练策略MoE-tuning,通过构建一个具有巨大数量参数但恒定计算成本的稀疏模型,有效解决多模态学习和模型稀疏性带来的性能退化问题。实验证明,MoE-LLaVA在视觉理解方面具有出色的能力,并且在模型输出的对象幻象基准测试中超越了LLaVA-1.5-13B,在各种视觉理解数据集上表现可与LLaVA-1.5-7B相媲美。通过MoE-LLaVA,我们旨在为稀疏LVLMs建立基准,并为未来开发更高效和有效的多模态学习系统提供有价值的见解。
通过PESC方法,结合稀疏模型和专家混合,能够在指令调整阶段提高性能、降低计算成本和GPU内存要求。实验证明,PESC稀疏模型在功能上优于其他开源稀疏模型,并比GPT3.5具有更优秀的整体性能。
该研究提出了一种新的度量方法,用于降低DNN的内存占用。同时介绍了一种新型可转置细粒度稀疏掩码,并使用最小成本流问题来寻找最优的可转置掩码。此外,还提出了一种将无结构稀疏模型转换为N:M细粒度块稀疏模型的方法。
完成下面两步后,将自动完成登录并继续当前操作。