本研究提出了一种新方法，通过挖掘层间依赖性优化大型视觉-语言模型的量化策略，解决多模态推理中的效率问题。实验显示，该方法在13B LLaVA模型上实现了2.78倍的内存压缩和1.44倍的生成速度提升，同时保持性能。此外，还探讨了量化感知规模学习和稀疏化技术的应用。

本文介绍了多种针对联邦学习的稀疏化技术，包括公平性感知的梯度稀疏化方法、FLARE算法和时间相关稀疏化方案。这些方法通过优化训练时间和通信效率，提高了模型的准确度和稀疏性，尤其在低客户端参与率下表现突出。研究表明，采用这些新技术可实现更高的训练效率和准确性。