本文探讨了模型内部信息的探测及其潜在的信息泄露风险。通过对视觉语言模型的研究，比较了不同表示层级的信息保留情况，发现顶级logit值可能泄露与任务无关的信息。此外，文章讨论了静态残差变换在自回归生成中的效率与生成质量之间的权衡。

残差变换提升了大型语言模型的表现力，但静态应用导致效率与生成质量的权衡不理想。我们提出了多速率残差混合框架（M2R2），通过动态调节残差速度来提高推理效率。评估结果显示，M2R2在推理任务中超越现有方法，实现最高2.9倍的加速，特别适合资源受限的环境。