首次！GPT-2赋能无线通信物理层，北大团队提出基于预训练LLM的信道预测方案
内容提要
北京大学电子学院程翔团队提出了基于预训练大语言模型的MIMO-OFDM信道预测方案LLM4CP，适用于TDD和FDD通信系统。研究团队构建了基于预训练GPT-2的信道预测神经网络，提高了大语言模型在信道预测中的能力和泛化能力。该方案在TDD和FDD信道预测任务上取得了最先进的性能，具有较低的训练和推理时间成本。该研究为大语言模型在无线通信物理层任务中的应用开辟了新的可能性。
延伸解读
LLM4CP如何解决信道预测的痛点
现有信道预测方法存在预测精度低和泛化性差的问题，难以适应复杂信道环境。LLM4CP利用预训练GPT-2的通用知识，通过设计预处理、嵌入等模块对齐信道与语言特征空间，在TDD和FDD任务上实现了最先进性能，且训练和推理时间成本较低，为实际部署提供了可能。
实验设置与性能验证
研究使用QuaDRiGa生成符合3GPP标准的时变信道数据集，设置MISO-OFDM系统，基站双极化UPA，用户单天线，带宽8.64 MHz，中心频率2.4 GHz。在TDD和FDD模式下，LLM4CP的SE和BER均优于对比方法，抗噪声鲁棒性测试中NMSE最低，频点泛化测试中仅需30个样本即可达到参数化模型性能。
模型复杂度与部署考量
LLM4CP在训练和推理时间上与深度学习小模型相当，且LLM推理时间比Transformer大幅缩减，具备实时预测潜力。评估不同GPT-2层数发现，6层时性能最佳，更多层反而增加参数和推理时间。实际部署需权衡预测精度与设备存储、计算资源约束，GPT-2骨干也可替换为其他大语言模型。
Q&A
LLM4CP方案的主要创新点是什么？
LLM4CP方案首次将预训练大语言模型应用于信道预测，显著提高了信道预测的能力和泛化能力。
LLM4CP在信道预测中如何提高性能？
LLM4CP通过构建基于预训练GPT-2的神经网络，设计特定模块以适应CSI数据的复杂格式，从而提高了预测精度和泛化能力。
LLM4CP在TDD和FDD系统中的表现如何？
LLM4CP在TDD和FDD信道预测任务上取得了最先进的性能，表现出较低的训练和推理时间成本。
LLM4CP如何解决下行链路导频的开销问题？
LLM4CP通过历史上行链路CSI序列预测未来下行链路CSI序列，有效避免了下行链路导频的开销和反馈延迟。
LLM4CP在少样本学习场景中的优势是什么？
LLM4CP在少样本预测场景中表现出明显优势，仅需10%的数据集进行训练，仍能保持较高的预测性能。
该研究对未来无线通信技术的影响是什么？
该研究为大语言模型在无线通信物理层的应用开辟了新的可能性，推动了AI与通信技术的结合。
