UCSC预印本《Read Once, Answer Many》指出,前缀缓存仅节省预处理,解码阶段每个问题每一步仍需重读文档KV。作者将多问题合并为同一请求内的并行回答流,通过流编号掩码使各流只读取文档和自身问题,从而共享一次KV读取。在A100上提速3.7倍,A6000上提速5.9–6.0倍;但GQA模型仅提速1.3–1.9倍,长答案基准LooGLE上仅1.12倍甚至更慢。局限包括仅支持Triton后端、单GPU、贪心解码和离线批式处理,且尚无第三方复现。
完成下面两步后,将自动完成登录并继续当前操作。