本文主张跳出仅修改harness适配模型的思路，探索改变语言模型的输入输出形态。作者认为decoder-only Transformer并非处理智能体轨迹的终极形态，可结合循环模型与Transformer，分别处理历史与当前观测，实现自动压缩与局部密集注意力。Jev等新形态证明替代权衡空间存在，需配套新目标函数。如今蒸馏与开放环境使这类研究更可行。