Gramformer: 通过图模态变换器学习人群计数
内容提要
该文汇总了多篇将Transformer应用于视觉与图数据的论文：TransCrowd采用弱监督方法进行人群计数；CCTrans结合CNN与金字塔Transformer提升计数性能；Gophormer、UGformer等将Transformer用于图节点分类与表示学习；GFSA缓解过度平滑问题；Museformer用于音乐生成；图Transformer用于建模全局图结构。
延伸解读
从弱监督到全监督：人群计数方法的演进
文章梳理了人群计数领域从弱监督到全监督的演进脉络。TransCrowd（2021年4月）采用弱监督方法，仅需人数标签即可训练，性能优于弱监督CNN且接近部分全监督方法；CCTrans（2021年9月）结合CNN与金字塔Transformer，在弱监督和全监督下均表现良好，并在NWPU-Crowd排名第一。这表明Transformer架构能有效提升计数性能，且弱监督方法正逐步缩小与全监督的差距。
全局上下文建模成为人群计数的关键
多篇工作强调全局上下文对人群计数的重要性。2021年5月的研究使用Transformer和token-attention模块提取全局信息特征，在多个数据集上达到最佳效果；CCTrans利用金字塔视觉Transformer骨干捕捉全局人群信息，并通过金字塔特征聚合组合低级和高级特征。这些方法表明，仅依赖局部特征的传统CNN可能受限，而Transformer的自注意力机制能更好地建模人群的整体分布。
图Transformer的多样化应用与挑战
文章还汇总了图Transformer在节点分类、图表示学习等任务上的进展。Gophormer通过邻域采样缓解规模问题，并采用proximity-enhanced attention捕捉结构偏差；UGformer利用Transformer编码邻居或全部节点，在基准数据集上取得最优准确率；GFSA则针对过度平滑问题提出图滤波自注意力。这些工作显示图Transformer正拓展到更多领域，但规模、过度平滑和训练稳定性仍是需要关注的问题。
Q&A
TransCrowd 是如何实现弱监督人群计数的？
TransCrowd 是一种基于 Transformer 的弱监督人群计数方法，通过自注意力机制高效提取语义人群信息，在五个基准数据集上性能优于弱监督 CNN 方法，并与一些全监督方法相当。
CCTrans 模型的结构和优势是什么？
CCTrans 结合 CNN 与 Transformer，使用金字塔视觉 Transformer 骨干捕捉全局人群信息，金字塔特征聚合组合低级和高级特征，多尺度膨胀卷积预测密度图。在多个基准上达到最先进结果，弱监督和全监督下均表现良好，目前在 NWPU-Crowd 排名第一。
Gophormer 如何将 Transformer 应用于节点分类？
Gophormer 基于 ego-graphs，通过邻域采样缓解规模问题，采用 proximity-enhanced attention 机制捕捉节点间结构偏差，并用一致性规则和多样本推理策略稳定训练和测试。在六个基准数据集上超越现有图转换器和热门 GNN。
UGformer 有哪些变体，各自效果如何？
UGformer 是基于 Transformer 的 GNN 模型，用于学习图表示。第一个变体对每个输入节点的一组采样邻居进行编码，在归纳和非监督转导设置下达到基准数据集上最新最准确的统计；第二个变体对所有输入节点进行编码，在归纳文本分类中获得最高准确率。
GFSA 解决了 Transformer 中的什么问题？
GFSA 是一种基于图滤波的自注意力机制，用于解决 Transformer 模型中的过度平滑问题，提高了在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等领域的性能。
Museformer 在音乐生成中有什么特点？
Museformer 采用细粒度和粗粒度注意力机制生成音乐：细粒度注意力捕捉音乐结构相关的关联，粗粒度注意力捕捉其他上下文信息。相比完全注意力机制，能生成长度超过 3 倍的高质量音乐序列。
