ICLR 2026 | 面向序列决策的贝叶斯集成方法
内容提要
本文提出Bayesian Ensemble（BE）框架，在现有集成方法上增加轻量级贝叶斯层，动态更新成员选择分布而非固定均匀采样。基于此提出BEB（bandit）和BE-DQN（强化学习），在合成环境、Yahoo!R6B推荐和MiniGrid任务中均优于基线，提升探索效率，论文被ICLR 2026接收。
延伸解读
核心创新：把“选谁”也变成可学习的贝叶斯过程
现有集成方法通常固定或均匀地采样成员，忽略了成员间质量差异。本文提出的BE框架在更新模型参数的同时，通过观测奖励动态更新成员索引的分布，使“选谁做决策”本身也成为一个贝叶斯学习过程。这一设计轻量且通用，可叠加在ensemble+、hypermodel等现有方法上，在bandit和强化学习场景中均带来探索效率提升。
实际收益与计算成本：值得关注的权衡
实验显示，在Neural Testbed上，BEB版本相对原始方法regret下降最高达69.8%；在Yahoo!R6B推荐数据集上，hypermodel(BEB)点击量提升约1.3%。但计算开销因更新方式而异：ensemble+的Beta-Bernoulli共轭更新几乎无额外耗时，而hypermodel因变分推断增加约20%时间。这表明BE的额外成本主要取决于索引分布更新方式，而非框架本身。
对强化学习稳定性的理论保证
BE-DQN在构造target Q时对所有Q-network加权聚合，而非仅用单个网络。理论分析表明，在单向MDP中，其Q-value方差上界与标准DQN一致，下界与Ensemble DQN一致，说明它至少不会比DQN更不稳定，同时保留了比纯平均集成更强的探索能力。这为动态成员选择机制在RL中的可靠性提供了理论支撑。
Q&A
Bayesian Ensemble（BE）框架的核心思想是什么？
BE框架在现有集成方法上增加一个轻量级贝叶斯层，除了更新每个基础模型的参数外，还通过观测到的奖励动态更新选择哪个集成成员的索引分布，使成员选择不再是固定随机，而是随反馈不断校正的贝叶斯过程。
BEB和BE-DQN分别是什么？它们如何应用BE框架？
BEB是面向bandit的贝叶斯集成方法，BE-DQN是面向强化学习的贝叶斯集成DQN。BEB在上下文bandit中，每轮从索引分布采样成员，用该成员选择动作，并更新参数和索引分布；BE-DQN维护多个Q网络，每轮从Beta分布采样权重，选择最优Q网络做动作，但用所有Q网络的加权聚合构造target Q。
BE框架与现有ensemble-based Thompson Sampling方法的主要区别是什么？
现有方法通常只更新ensemble成员的参数，而索引分布固定（如均匀采样）。BE框架则额外更新索引分布，使其根据奖励动态调整，从而更好地反映成员间的质量差异，提升探索效率。
在Neural Testbed和Mushroom实验中，BEB相比原始方法取得了哪些提升？
在Neural Testbed上，ensemble+(BEB)相对ensemble+的regret下降37.0%、12.8%、42.2%（对应d=2,10,50），hypermodel(BEB)相对hypermodel下降69.8%、22.8%、30.3%。在Mushroom数据集上，ensemble+(BEB)和hypermodel(BEB)分别带来8.7%和4.8%的提升。
BE框架在Yahoo!R6B推荐数据集上的表现如何？
在Yahoo!R6B上，hypermodel(BEB)达到50,322.1次点击，高于原始hypermodel的49,676.8次，也优于Random、Greedy、ϵ-Greedy、MC Dropout和Gradient TS等方法，表明BE在真实推荐任务中能提升探索效率和点击收益。
BE-DQN在MiniGrid任务上的表现如何？为什么它能优于其他DQN变体？
BE-DQN在MiniGrid的五个任务中表现最强或最稳健，在Empty-6x6、LavaGapS5、GoToDoor-5x5和MultiRoom-N2-S4上平均reward最优，在FourRooms上也优于多数基线。原因是它能动态更新不同Q-network的重要性分布，更好地兼顾探索、利用和训练稳定性，而传统DQN鲁棒性差，E-DQN和RE-DQN的权重机制静态或随机。
BE框架的额外计算开销如何？
对于ensemble+，Beta-Bernoulli更新是共轭的，几乎没有额外耗时；对于hypermodel，由于需要变分推断，BEB版本比原始方法大约多20%的计算时间。额外成本主要取决于索引分布的更新方式。
