本文探讨了模型内部信息的探测及其潜在的信息泄露风险。通过对视觉语言模型的研究，比较了不同表示层级的信息保留情况，发现顶级logit值可能泄露与任务无关的信息。此外，文章讨论了静态残差变换在自回归生成中的效率与生成质量之间的权衡。