研究提出“探针引导”方法,利用冻结扩散模型的内部状态构建引导信号,无需额外前向计算,在连续扩散语言模型的无条件生成上取得新最优,并提升1.7B模型的多选题表现。研究还发现,自引导中弱模型须来自低熵训练区域,并揭示了其机制。
完成下面两步后,将自动完成登录并继续当前操作。