本文介绍了一种名为动态调整(DyT)的新方法，用于改善视觉变换器（ViTs）的参数和推理效率。通过使用轻量级适配器模块和标记分发器，可以动态跳过不重要的标记，减少冗余计算。通过验证，DyT在各种任务中表现出与现有方法相当或更优越的性能。

本研究提出了混合模态适应方法（MMA），通过轻量级适配器模块搭建图像和语言模型之间的桥梁，实现联合优化。该方法应用于LaBIn视觉语言指导模型，实验证明其训练效率和性能竞争力优于现有多模LLMs，有潜力成为通用聊天机器人。