RLTL;DR：通过内化自生成反馈实现自我提升
内容提要
论文提出RLTL;DR：智能体失败后，策略根据验证器输出自写一条TL;DR反馈，后续尝试以此为条件，并通过反向传播内化“任务→洞见”映射。在工具调用和编程任务上，Pass@1从0–1%提升至14–31%，评估时无洞见仍有12–13%。仅用4k条（任务，洞见）元组做SFT即可接近完整性能。
延伸解读
突破零成功率的训练困境
在工具调用和编程任务中，当任务难度极高导致智能体成功率为零时，传统GRPO训练无法提供有效梯度，Pass@1始终停留在0%至1%。RLTL;DR通过让策略在失败后根据验证器输出自写一条TL;DR洞见，并将后续尝试条件化于这些洞见，从而在无成功样本的情况下仍能获得学习信号，最终将Pass@1提升至14%至31%。
内化洞见实现无提示评估
RLTL;DR的关键创新在于对上下文中的洞见进行反向传播，使策略内化“任务→洞见”的映射。评估时即使不提供任何洞见，模型仍能达到12%至13%的Pass@1，远高于基线。这表明模型并非简单依赖上下文提示，而是真正学会了在遇到类似任务时自主生成有效策略。
SFTL;DR：更紧凑的训练范式
作者进一步提出SFTL;DR，仅使用4k条（任务，洞见）元组进行监督微调，不展示或反向传播任何完整轨迹，即可恢复RLTL;DR几乎全部的性能。这揭示了一种紧凑的训练范式：“面对这类任务，记住这类要点”，为未来研究提供了高效方向。
Q&A
RLTL;DR 是什么？它要解决什么问题？
RLTL;DR 是一种自我提升方法，针对传统 RLVR 在任务极难、智能体成功率极低甚至为零且无教师模型或示例可蒸馏时失效的问题。它让策略在每次失败后根据验证器输出自写一条 TL;DR 洞见，后续尝试以所有历史洞见为条件，并通过反向传播内化“任务→洞见”映射。
RLTL;DR 具体是怎么工作的？
每次失败后，策略看到验证器输出并写出一条 TL;DR 洞见；下一次 rollout 以之前所有洞见为条件，顺序采样直到找到解。同时，对上下文中的洞见进行反向传播，使模型内化直接的任务→洞见映射。
RLTL;DR 在工具调用和编程任务上效果如何？
在过滤到 Pass@128=0 的困难工具调用和编程数据集上，标准 GRPO 训练 Qwen 3.5 9B Thinking 策略的 Pass@1 一直停留在 0%–1%。RLTL;DR 突破这一学习障碍，训练时带洞见上下文达到 14%–31% 的 Pass@1，评估时无洞见上下文仍有 12%–13%。
为什么 RLTL;DR 能突破学习障碍？
关键在于“任务→洞见”的内化。通过反向传播上下文中的洞见，模型学会了直接根据任务生成有用洞见，从而在评估时即使没有洞见上下文也能保持较好表现。
SFTL;DR 是什么？它和 RLTL;DR 有什么关系？
SFTL;DR 是 RLTL;DR 的简化版，仅用（任务，洞见）元组做监督微调，不展示也不反向传播任何 rollout。仅用 4k 条这样的元组训练，就能恢复 RLTL;DR 和经典全 rollout SFT 的几乎全部性能。
RLTL;DR 提出的紧凑训练范式是什么？
是一种“在这种任务上，记住这类事情”的紧凑训练范式，即通过少量（任务，洞见）元组让模型内化任务到洞见的映射，从而高效提升性能，作者希望这能启发未来研究。
