xT：用于大图像中更大上下文的嵌套标记化
内容提要
该文综述了视觉与语言Transformer中标记建模的进展，包括语义标记ViT、可扩展分词、Fovea Transformer、Focused Transformer、地标标记、混合分辨率标记与四叉树，以及TransNeXt聚合注意力。
延伸解读
嵌套标记化的核心思路
文章标题提及的“嵌套标记化”旨在通过层次化标记结构，让大图像在Transformer中捕获更大范围的上下文。文中综述的多种方法，如Fovea Transformer构建多尺度树、混合分辨率标记结合四叉树，都体现了从粗到细的嵌套思想，以平衡计算效率与全局感知。
长上下文建模的多种路径
针对长上下文挑战，文章介绍了可扩展分词、Focused Transformer和地标标记等方案。可扩展分词灵活扩展LLM上下文；Focused Transformer通过对称学习增强键值空间结构；地标标记则用代表块实现完整上下文访问。这些方法从不同角度提升了模型处理长序列的能力。
视觉任务中的性能验证
综述中的方法在多个视觉任务上得到验证。例如，语义标记ViT在ImageNet分类和COCO-stuff分割上表现优势；TransNeXt通过聚合注意力机制在多个模型尺寸上达到最先进性能；地标标记和混合分辨率标记也分别在长上下文处理和图像分类中展现出效果。
Q&A
什么是可扩展分词？它有什么作用？
可扩展分词是一种可选方法，可实现大语言模型（LLMs）上下文的灵活扩展，以提供更多信息。实验证明它是一种有效、高效、灵活和兼容的方法，可扩展LLMs的上下文。
Fovea Transformer 是如何提高长上下文处理能力的？
Fovea Transformer 是一种以长上下文为中心的Transformer模型，通过在输入序列中构建一个多尺度树来提高模型对全局依赖性的捕捉能力，并在长上下文摘要任务上取得了最先进的性能。
Focused Transformer 解决了什么问题？
Focused Transformer（FoT）通过对称的学习过程来增强（键，值）空间的结构，从而提供更长的上下文长度，有效地解决了大型语言模型在处理长文本时的局限性。
地标标记方法有什么优势？
地标标记方法使用地标标记来代表输入的每个块，并通过训练使注意力选择相关块，从而使我们可以访问完整的上下文并保留随机访问灵活性。该方法与专用数据结构和系统的内存层次结构无缝集成，可以处理任意长度的上下文长度。
混合分辨率标记和Quadtree算法如何用于图像分类？
混合分辨率标记是一种新的图像标记方案，使用Quadtree算法和新的显著性评分器构建图像的代表通量，进而实现更好的图像分类。
TransNeXt中的聚合注意力机制是什么？
聚合注意力机制（Aggregated Attention）通过仿生设计的令牌混合器，模拟生物视觉和持续眼动，使特征图上的每个令牌具有全局感知能力。结合学习性令牌、卷积GLU机制，构建新的视觉主干网络TransNeXt，实验结果表明其在多个模型尺寸上实现了最先进的性能。
