从像素到Token：面向低预算语义分割的Token空间高效主动学习
内容提要
TEAL是首个基于ViT的像素级主动学习框架，利用冻结的ViT骨干在其原生token网格上进行多样性选择，避免插值伪影。该方法采用多层token描述符上的两级MaxHerding选取代表性样本，并在解码器网格上进行边界不确定性精修。在CamVid、Cityscapes、ADE20K和Pascal Context数据集上，每图仅1个标注像素即比最强基线提升最多24.36 mIoU，10个像素可达全监督97%的性能。
延伸解读
为何在Token空间做主动学习
传统像素级主动学习需在密集像素网格上选择标注点，而ViT骨干原生输出的是token网格。若将token嵌入插值到像素分辨率，会引入伪影并扭曲多样性评估。TEAL直接在token网格上做多样性选择，避免了插值带来的失真，使样本选择更贴合ViT的实际表示结构。
两级MaxHerding与边界精修的分工
TEAL先用多层token描述符上的两级MaxHerding选出代表性候选，再在更细的解码器网格上利用边界不确定性进行精修。前者保证候选覆盖token空间的多样性，后者聚焦于分割边界附近的不确定区域。这种“先多样后不确定”的两阶段设计，在每图仅1个标注像素的极端稀疏信号下仍能定位信息量高的位置。
性能提升的来源验证
在CamVid、Cityscapes、ADE20K和Pascal Context上，TEAL每图1像素即比最强基线提升最多24.36 mIoU，10像素可达全监督97%的性能。作者进一步将所有基线统一换成DINOv3骨干后，提升依然存在，说明增益主要来自token空间选择与解码器网格不确定性精修的结合，而非特定骨干的偶然优势。
低预算场景的实用边界
TEAL面向的是标注预算极低、每图仅能标注少量像素的语义分割任务。其优势在1至10像素区间得到验证，但文章未讨论预算继续增加后的表现，也未涉及计算开销或跨域泛化。读者需注意，该方法依赖冻结ViT骨干，若换用非ViT架构或需微调骨干，其token空间选择的适用性可能变化。
Q&A
TEAL是什么？它主要解决什么问题？
TEAL是首个基于ViT的像素级主动学习框架，旨在解决极低标注预算下的语义分割问题。它利用冻结的ViT骨干，在原生token网格上进行多样性选择，避免插值伪影，从而在每图仅1个标注像素时也能有效训练分割模型。
TEAL在极低标注预算下的性能表现如何？
在CamVid、Cityscapes、ADE20K和Pascal Context数据集上，TEAL在每图仅1个标注像素时，比最强基线提升最多24.36 mIoU；每图10个标注像素时，可达全监督性能的97%。
TEAL如何选择最具信息量的像素进行标注？
TEAL采用两级MaxHerding策略：首先在多层token描述符上进行多样性选择，然后在更精细的解码器网格上进行基于边界不确定性的精修，从而同时保证多样性和不确定性。
TEAL为什么要在token空间而不是像素空间进行主动学习？
因为ViT原生输出的是token网格，若将token嵌入插值到密集像素分辨率会引入伪影。TEAL直接在token网格上进行多样性选择，避免了插值伪影，更高效地利用ViT表示。
TEAL的改进是否依赖于特定的ViT骨干？
不是。作者进一步表明，当所有基线都配备相同的DINOv3骨干时，TEAL的改进依然存在，说明其增益来源于token空间选择与解码器网格不确定性精修的结合，而非特定骨干。
TEAL在哪些数据集上进行了验证？
TEAL在四个语义分割数据集上进行了验证：CamVid、Cityscapes、ADE20K和Pascal Context。
