本文探讨了语言模型“束具”(harness)在组合泛化中的关键作用。通过递归语言模型(RLM)设计,将复杂任务分解为局部分布内的子调用,训练短任务可泛化至8-32倍长任务,并跨领域迁移。相比直接训练Transformer,RLM显著提升泛化能力,表明束具可编码高层归纳偏置,降低数据成本,是提升扩展回报的核心。
完成下面两步后,将自动完成登录并继续当前操作。