本研究分析自注意力模型中的动态亚稳态现象，发现粒子最终会聚集成一个簇，但可能在多个簇的状态下长时间停留。通过梯度流和慢运动框架，揭示在适当时间缩放下，能量在有限时间内达到全局最大值，并呈现阶梯状特征。

本文提出了Device Tuning方法，以提高自注意力模型的计算效率并支持多任务学习。研究分析了多模态调优方法在复杂推理和对话任务中的表现，揭示了现有方法的局限性。通过动态选择先验知识和模型参数，优化了多任务学习系统的性能。此外，提出了多模态指令调优基准数据集MultiInstruct，以提升模型的零示性能。