复用提示前缀的键值缓存：小语言模型优化策略
内容提要
本文介绍小语言模型窄域自动化优化的第二种策略：复用提示前缀的键值缓存。窄域任务提示中静态指令占绝大部分，逐条重算全部前缀十分浪费。作者用Qwen2.5-0.5B在600条工单上测试，将静态前缀预填充一次并缓存，每条仅处理变化的后缀，并需正确设置注意力掩码、缓存位置，处理后裁剪缓存。结果运行时间从184.85秒降至80.07秒，减少约57%，预测完全一致。
延伸解读
缓存复用的适用条件
该优化适用于提示中静态部分占比较高的窄域任务。文中示例静态前缀占87%，因此收益明显。若动态内容比例上升，加速比会下降。此外，前缀与后缀的切分必须保证token化结果与整体一致，否则缓存键值将错位，导致预测错误。
实现中的关键细节
使用DynamicCache时，必须正确设置attention_mask覆盖前缀和新token，并通过cache_position告知新token的起始位置。每次处理后需调用crop将缓存回滚到前缀长度，否则后续条目会错误关注前一条内容且缓存无限增长。这些细节若忽略，结果可能看似正常但实际错误。
性能收益与一致性
在600条工单测试中，复用前缀缓存将总运行时间从184.85秒降至80.07秒，减少约57%，每条耗时从308毫秒降至133.5毫秒。预测结果与全量重算完全一致，说明这是纯计算优化，不改变模型行为。收益随静态内容比例增加而扩大。
工程实践注意事项
建议在torch.no_grad()下运行，避免inference_mode对缓存裁剪的干扰。切分点应选在行尾或聊天模板分隔符处，防止token化差异。缓存路径需与全量重算进行一致性校验，确保加速未引入偏差。这些措施能保证优化稳定可靠。
Q&A
什么是复用提示前缀的键值缓存？
复用提示前缀的键值缓存是一种优化小语言模型窄域自动化的技术。它将提示中静态的指令部分（如任务说明、分类定义、示例）预先计算一次键值缓存，之后每条数据只处理变化的后缀部分，避免重复计算整个前缀。
为什么复用提示前缀的键值缓存能提升小语言模型的推理速度？
因为窄域自动化提示中静态指令占绝大部分（例如87%），而Transformer为每个token计算的键值向量只依赖于左侧token，对于固定前缀这些向量每次调用都相同。预先计算并缓存这些向量后，每次只需处理变化的后缀，大幅减少计算量。
复用提示前缀的键值缓存具体如何实现？
实现步骤：1. 将提示分割为静态前缀和动态后缀，确保分割处token化一致；2. 用前缀文本初始化DynamicCache并运行模型一次；3. 对每条数据，将后缀token与缓存一起前向传播，需正确设置attention_mask（覆盖前缀+后缀）和cache_position（从prefix_len开始）；4. 每次处理后用crop(prefix_len)裁剪缓存，避免累积。
复用提示前缀的键值缓存能带来多少性能提升？
在Qwen2.5-0.5B模型上处理600条工单的测试中，运行时间从184.85秒降至80.07秒，减少约57%，每条工单平均耗时从308.1毫秒降至133.5毫秒，且预测结果完全一致。
使用键值缓存复用提示前缀时需要注意哪些关键点？
关键点包括：1. 提示分割必须token-clean，即分别编码两半与整体编码结果一致；2. attention_mask宽度需为prefix_len + suffix_len；3. cache_position需从prefix_len开始，确保旋转嵌入正确；4. 每次处理后必须调用crop(prefix_len)裁剪缓存；5. 使用torch.no_grad()而非inference_mode()，以便缓存切片操作。
复用提示前缀的键值缓存适用于哪些场景？
适用于窄域自动化任务，其中提示包含大量静态指令（如任务说明、分类体系、示例），而每条数据只有少量动态内容（如用户输入）。静态内容占比越高，优化收益越大。
