将多模态输入令牌混合器整合到基于Mamba的决策模型中：决策MetaMamba
内容提要
本文探讨了离线强化学习中的多目标优化，提出了Decision ConvFormer（DC）和Decision Mamba（DM）模型，显著提升了模型性能和样本利用效率。研究表明，Mamba架构在处理复杂任务时具有优势，并通过实验验证了其在决策制定中的有效性。
延伸解读
从Transformer到Mamba的演进逻辑
文章梳理了离线强化学习序列建模的架构演进：从Decision ConvFormer利用多实体并行处理改进注意力机制，到Decision Mamba引入状态空间模型替代Transformer。这一路径的核心动因是Transformer在推理时的计算复杂度问题，而Mamba的线性可扩展性提供了替代方案。读者可从中理解，架构选择并非单纯追求性能，也受计算效率驱动。
DM-H的混合设计思路
Decision Mamba-Hybrid（DM-H）结合了Transformer与Mamba两种架构，在长期和短期任务中均达到最先进性能，且在线测试效率比基于Transformer的基线快28倍。这一设计表明，单一架构未必能覆盖所有决策场景，混合方案可能兼顾长短期记忆与计算效率。但文章未披露具体任务类型和效率测试条件，实际收益需结合场景评估。
细粒度状态空间与过拟合应对
Decision Mamba通过细粒度SSM模块捕捉状态-动作-返回三元组之间的关系，并采用渐进正则化提出自我进化策略，以减轻噪声轨迹导致的过拟合。这提示读者，离线强化学习中数据质量参差不齐，模型设计需同时考虑时序建模能力和鲁棒性。不过，文章未给出噪声轨迹的具体定义或正则化强度的消融结果。
元强化学习的样本效率提升
文章提到一种基于模型的元强化学习方法，在常见基准上获得更高回报，样本利用效率提升高达15倍，且超参数调整需求很少。这一结果若成立，对数据稀缺的真实场景有实际意义。但文章未说明该方法与Decision Mamba系列的具体关系，读者需注意区分不同时间节点的独立贡献，避免将多项成果混为一谈。
Q&A
什么是Decision ConvFormer（DC）模型？
Decision ConvFormer（DC）是一种新型动作序列预测模型，表现出最先进的性能和增强的泛化能力。
Mamba架构在离线强化学习中有什么优势？
Mamba架构在处理复杂任务时表现优越，能够有效利用关注机制，提升模型性能。
如何提高样本利用效率？
通过提出新的基于模型的元强化学习方法，样本利用效率可以提高高达15倍。
Decision Mamba（DM）模型的特点是什么？
Decision Mamba（DM）模型通过细粒度状态空间模块捕捉状态-动作-返回三元组之间的关系，显著优于其他基准模型。
什么是Decision Mamba-Hybrid (DM-H)方法？
DM-H方法结合了决策制定和长期记忆，在长期和短期任务中达到了最先进的性能。
Mamba架构如何解决Transformer模型的计算复杂性问题？
Mamba架构作为具有线性可扩展性的替代方案，旨在减轻Transformer模型在推理过程中的计算复杂性。
