论文指出,智能体并发高时变慢常源于推理服务前的调度:贪心释放导致在途请求堆积。作者主张解耦“就绪”与“释放”,控制未完成工作量,并按尾延迟调度。实验显示竞争下P95完成时间最高改善3.50倍,但非普遍加速。建议记录端到端P95/P99,限制在途队列,兼顾公平与等待保护。
完成下面两步后,将自动完成登录并继续当前操作。