本研究探讨了视觉自回归模型在推理过程中的高内存开销，首次形式化定义了KV缓存压缩问题，并证明在特定条件下，基于注意力架构的生成机制至少需要$(n^2 d)$的内存，揭示了实现次平方级内存使用的不可行性，为未来的内存优化提供了理论依据。

本研究探讨了视觉自回归模型（VAR）在图像生成中的计算效率，提出了实现亚二次时间复杂度的条件。研究表明，输入矩阵的范数需达到特定阈值，以支持高效计算，并通过低秩近似验证了这一理论，从而提升VAR模型的图像生成效率。