ARBITRAGE是一种新型步骤级投机生成框架,通过轻量级路由器动态选择草稿模型或目标模型生成的推理步骤,以近似最优效率-准确性权衡。相比传统令牌级和现有步骤级方法,它减少不必要的拒绝和重生成,在数学推理基准上推理延迟降低约2倍,同时保持匹配的准确性。
完成下面两步后,将自动完成登录并继续当前操作。