本研究提出了一种新方法，将测试时的计算优化视为元强化学习问题。通过引入累积遗憾的概念，研究表明最大化稠密奖励可以提高计算效率，实现2-3倍的性能提升和1.5倍的令牌效率提升，从而显著改善大型语言模型的推理表现。

本文提出了一种新颖的表示学习方法，通过度量状态转换距离自动生成辅助奖励，从而提升增强学习的效率和收敛稳定性。研究表明，该方法在多模态观察中有效提取稠密奖励，促进机器人任务的学习，加速收敛并改善学习效率。