HyTAS：一种高光谱图像变换器架构搜索基准和分析
内容提要
本文提出多种基于Transformer的高光谱图像分类方法，包括利用DSS指标评估架构、引入新基准数据集、优化卷积核设计及融合不同注意力机制。这些方法显著提升了分类性能和训练效率，展示了在高光谱图像处理领域的潜力。
延伸解读
无需训练搜索如何提升效率
文章提出的无需训练Transformer架构搜索方法，利用DSS指标评估ViT架构的突触多样性和显著性，避免了传统搜索中反复训练带来的高昂计算成本。这种方法在提高搜索效率的同时，性能可与手动设计和自动设计的ViT架构相媲美，为高光谱图像分类的架构选择提供了更实用的途径。
新基准数据集填补评估空白
针对高光谱图像领域目标数据集规模有限的问题，文章引入了涵盖食品检查、遥感和回收等不同应用领域的创新基准数据集。这些数据集不仅扩展了模型评估的多样性，还促进了更稳定的训练流程，使不同方法能在更全面的场景下进行公平比较，推动模型能力的深入评估。
降低搜索成本与增强灵活性
通过设计超级卷积核的结构参数生成方法，文章将复杂的双重优化问题转化为单阶优化，显著降低了搜索成本。结合三维卷积分解机制，能够获得不同类型的网络，提高了架构的灵活性，并在实验中取得了优于其他先进神经架构搜索方法的结果。
注意力融合与多模型进展
文章还介绍了多种基于Transformer的改进，如融合3D Swin Transformer和Spatial-spectral Transformer的注意力机制，以及PyFormer、CST、HyLITE等模型。这些方法分别从分层处理、稀疏性嵌入、局部到全局信息整合等角度提升了分类或重建性能，展示了该领域多元化的技术路线。
Q&A
HyTAS的主要贡献是什么？
HyTAS提出了一种无需训练的Transformer架构搜索方法，显著提高了高光谱图像分类的效率和性能。
HyTAS如何解决数据集规模有限的问题？
HyTAS引入了包含不同应用领域的创新基准数据集，促进了高光谱图像模型能力的全面评估。
什么是PyFormer模型，它的优势是什么？
PyFormer是一种基于金字塔形式的分层Transformer模型，能够提高高光谱图像分类的处理效率和抽象传播能力。
HyLITE模型的特点是什么？
HyLITE模型利用新型正则化函数促进局部到全局信息的整合，准确度超过竞争基准。
CST方法在高光谱图像重建中有什么优势？
CST方法将HSI稀疏性嵌入到深度学习中，具有更高的重建性能和更低的计算成本。
如何提高高光谱图像分类的性能？
通过融合3D Swin Transformer和Spatial-spectral Transformer的注意力机制，可以显著提高高光谱图像的分类性能。
