信息增益引导无人机
内容提要
本文综述了无人机与自主系统在信息采集中的强化学习控制研究，涵盖：基于DAN框架的RF频谱监测传感器控制、有限燃料下模仿学习最大化信息获取、无人机采集物联网数据的端到端强化学习、无人机群交通监控的渐进式规划与调度、自主水面船水质监测的深度Q学习避障、UAV辅助网络信息年龄优化、高斯过程路径规划、无人机竞速PPO训练、可重构智能表面最小化AoI，以及最短路径无人机数据收集与资源分配。
延伸解读
信息增益作为统一奖励信号
文章综述的多项研究都将信息增益作为强化学习奖励的核心组成部分，例如RF频谱监测中结合预测与信息增益奖励的DAN框架、有限燃料下模仿学习最大化信息获取、以及水质监测中结合信息增益衡量不确定性。这表明信息增益能有效引导智能体在探索与利用间取得平衡，尤其适用于稀疏采样和动态环境。读者可关注不同任务中信息增益的具体定义与计算方式，这直接影响策略的学习效率。
从单机到集群：规划与调度的分层趋势
无人机群交通监控采用渐进式方法，结合分布式优化进行规划与选择，以及深度强化学习进行飞行方向调度，以弥补短期优化难以持续、长期DRL缺乏可扩展性的不足。类似地，UAV辅助网络通过马尔可夫决策过程和DRL优化轨迹与任务调度。这种分层思路将长期目标分解为可管理的子问题，提升了系统的韧性和灵活性，是应对大规模自主系统控制的一种可行方向。
仿真验证为主，实际部署仍需谨慎
综述中的研究大多通过模拟实验验证方法有效性，例如RF频谱监测的模拟实验、无人机竞速中与模拟无人机的对比、以及基于真实城市流动性生成数据集的实验。虽然部分工作使用了真实数据生成的数据集，但整体上仍缺乏在真实物理环境中的大规模部署验证。读者在参考这些方法时，需注意仿真环境与真实世界在噪声、动态性和通信延迟等方面的差异，实际应用前应进行充分的实地测试。
Q&A
在射频频谱监测中，如何用强化学习实现自主传感器控制？
采用基于DAN框架的强化学习，结合预测和信息增益奖励，利用有限的RF样本迭代改进环境模型，从而在部分可观察、动态和稀疏采样环境下实现自主传感器控制，实验表明其优于专家设计的基线控制器且对非平稳环境具有鲁棒性。
燃料有限时，移动机器人如何最大化信息获取？
通过数据驱动的模仿学习框架，使用EXPLORE算法训练策略来模仿一个拥有完整信息并计算非简约解以最大化信息获取的先知，从而在有限燃料预算下最大化从环境中获取的信息量，并适应不同的对象分布。
无人机收集物联网数据时，如何用端到端强化学习规划路径？
训练双重深度Q网络（DDQN）实现端到端强化学习，使无人机能根据平衡数据收集目标和飞行时间效率的安全约束，在不同场景参数下做出运动决策，从而泛化控制并高效收集分布式传感器节点的数据。
无人机群用于城市交通监控时，如何协调规划与调度？
采用渐进式方法：基于分布式优化的规划和选择，以及基于深度强化学习（DRL）的飞行方向调度，以弥合短期优化与长期DRL在可扩展性、韧性和灵活性上的差距，实验表明在交通监控方面优于三种基准方法。
自主水面船在水质监测中如何避障和路径规划？
使用深度Q学习算法框架，结合信息增益衡量不确定性，在静态和动态环境下实现障碍物避免和路径规划，模拟实验表明噪声网络能增强探测，该框架已成功应用于自主水资源监测。
如何利用无人机和可重构智能表面最小化信息年龄？
将无人机和可重构智能表面元素与物联网设备集成以被动中继信息，通过优化问题最小化平均信息时效（AoI），并使用近端策略优化（PPO）算法求解混合整数非凸优化问题，结果表明在AoI方面优于其他算法。
