基于变换器架构构建6G无线电基础模型

本研究解决了无线通信中对模型适应性和泛化能力的需求，通过引入视觉变换器（ViT）作为谱图学习的无线电基础模型，提出了一种自监督的掩蔽谱图建模（MSM）方法进行预训练。实验结果显示，预训练的ViT模型在谱图分割任务上表现优于从零开始训练的四倍大模型，且在要求更少训练时间的同时，对基于CSI的人类活动感知任务也展现出竞争力表现，证明了该方法在未来6G网络中开发可扩展基础模型的潜力和有效性。