本研究提出了一种基于离散小波变换的图像光谱标记新方法，解决了现有图像标记器在自回归建模中的不足。该方法能够重构不同分辨率的图像，并提高下一个标记预测的条件化效果，显著改善多尺度图像生成和上采样能力。

本研究提出了一种高效的Perceiver基架构（Long LoRA Perceiver - LLP），旨在解决Transformer在长序列处理中的复杂度问题。通过引入三种结构增强，该架构在自回归建模中实现了高性能与计算效率的平衡，实验结果表明其在多个基准测试中超越了最新的Transformer模型。