基于多智能体增强学习的分布式非相干联合传输在密集小型MISO系统中的应用
内容提要
本研究利用强化学习优化无线通信策略，解决频谱稀缺和动态分配问题。提出多臂赌博机算法和深度强化学习方法，改善超密集网络和多小区网络的性能，降低信令开销和能耗，提升总速率。仿真结果表明新方法在复杂环境中表现优越。
延伸解读
强化学习在无线通信中的多场景应用
文章梳理了2018年至2024年间强化学习在无线通信中的多项研究，覆盖超密集网络、多小区网络、毫米波NOMA、MIMO-RIS、太赫兹波束赋形等场景。这些工作分别针对信令开销、能量效率、总速率、延迟等不同指标，表明强化学习能灵活应对多样化的网络优化问题，但各研究场景和假设不同，实际部署需结合具体条件。
多智能体协作降低能耗的实证效果
针对多基站多小区网络，文章介绍了基于多智能体近端策略优化（MAPPO）的协作控制策略，通过决策休眠模式和天线切换来最小化总能耗。仿真显示，与自动休眠模式1相比，MAPPO-邻近策略在低流量时段减少约8.7%功耗，高流量时段提升约19%能效。这为节能提供了量化参考，但结果基于特定仿真环境，实际网络中的增益可能受流量模式影响。
减少基站间信息交换的创新思路
文章提到一种创新方法，将基站间信息交换需求从传统数百比特大幅减少至几位比特，以应对现有网络基础设施的限制。这种低开销协作方式在多小区网络中展示了性能改进，但具体实现细节和适用条件未详细说明，读者需关注其在实际部署中的可行性和对网络同步的要求。
结构化强化学习应对延迟问题
针对接入点有限服务能力和不可靠无线信道导致的平均延迟，文章提出结构化强化学习方案mmDPT-TS，利用RMAB-F中的内在结构来最小化系统平均延迟。该方法为延迟敏感场景提供了新思路，但文章未与其他延迟优化方法进行对比，其优势需进一步验证。
Q&A
如何利用强化学习优化无线通信策略？
通过将无线通信建模为优化双向通信策略的问题，强化学习可以解决频谱稀缺和动态分配问题。
多臂赌博机算法在超密集网络中的作用是什么？
多臂赌博机算法用于优化超密集网络中的信令开销，实现稳定的正交分配，降低复杂度。
深度强化学习如何改善多小区网络的效率？
深度强化学习通过优化固定用户设备功率和最大比合并等基线方法，显著提升多小区网络的效率。
毫米波NOMA系统的联合功率分配是如何实现的？
通过深度强化学习和控制理论，考虑用户间干扰并满足高速率需求，实现毫米波NOMA系统的联合功率分配。
多智能体强化学习算法如何优化多基站网络的能耗？
该算法通过决策多个基站的休眠模式和天线切换，最小化多基站网络的总能耗，同时保持服务质量。
如何减少基站间的信息交换需求？
通过提出创新方法，将基站间信息交换需求减少至几位比特，相较于传统方法的数百位比特，显著提升网络性能。
