本文介绍小语言模型窄域自动化优化的第二种策略:复用提示前缀的键值缓存。窄域任务提示中静态指令占绝大部分,逐条重算全部前缀十分浪费。作者用Qwen2.5-0.5B在600条工单上测试,将静态前缀预填充一次并缓存,每条仅处理变化的后缀,并需正确设置注意力掩码、缓存位置,处理后裁剪缓存。结果运行时间从184.85秒降至80.07秒,减少约57%,预测完全一致。
完成下面两步后,将自动完成登录并继续当前操作。