内容提要
chat.nvim v1.12.0 发布,重点改进缓存与上下文管理:新增缓存探针定位请求前缀断点,统一三种 provider 的用量解析,按批推进上下文窗口并将窗口提示固定在末尾,冻结 tools 数组顺序;新增可按小时或天查询的用量账本。飞书支持权限控制、私聊独立工作目录和卡片回复,Discord 与 Telegram 同步补齐准入和私聊功能。
延伸解读
缓存探针:让前缀断点可见
缓存命中依赖请求前缀逐字节一致,但此前缺乏工具确认断点位置。v1.12 新增缓存探针,为每个请求打指纹并与同会话上次请求比较,将断点位置和原因写入日志。指纹只取字符串前 4096 字节并混入长度,避免长字符串截断后冒充短字符串。探针以 best-effort 方式挂载在三个位置,自身出错不影响请求。日志词表包括 append、system、tools、messages、truncated,断点前的消息仍在缓存中,只有后面重新计费。
用量解析统一与账本落盘
此前渲染层只识别 OpenAI 的 cached_tokens 字段,导致 DeepSeek 和 Anthropic 的缓存命中始终显示 0%。v1.12 新增 chat.usage 模块,将三种 provider 的用量压成统一表 { total, prompt, completion, cached },取不到的字段返回 0 而非 nil。同时新增 usage_stats 账本,落盘为 usage_stats.json,分 total、hourly、daily 三层,分别永久、7 天、365 天保留。查询跨度小
上下文窗口与工具顺序的缓存优化
截断窗口以前每回合都移动起点,导致前缀频繁断裂。新配置 slide_step 让起点按批推进,窗口在 keep_recent 和 keep_recent + slide_step 之间震荡,攒够一个 step 才跳一次,跳一次断一次,中间回合前缀完全一致。默认 slide_step = 1 保持旧行为。代价是窗口略微超出预算、截断时机晚于 trigger_threshold。此外,窗口提示固定为数组最后一条,避免因内容含变动的数字而落在头部导致前缀作废;tools 数组顺序冻结为 append-only,已在数组中
飞书权限与私聊隔离
飞书支持三档权限 allow_all / whitelist / blacklist,并增加 admins 组,admins 可填 open_id、邮箱或手机号。配置白名单与运行时白名单合并而非覆盖,运行时优先,管理员可在群里通过 /allow、/deny 直接修改并写入 lark.json。私聊默认拒绝,allow_all 仅指绑定的群,要私聊需单独配置 p2p.allow。每个私聊拥有独立工作目录 <cwd_root>/lark-<chat_id>,避免多人同时改文件互相踩踏,也隔离彼此工作区。回复从纯文本改为
Q&A
chat.nvim v1.12.0 的缓存探针是干什么的?怎么判断请求前缀在哪里断掉?
缓存探针(lua/chat/sessions/cache_probe.lua)给每个请求打指纹,与同会话上一次请求比较,把断点位置和原因写进日志。指纹只取字符串前 4096 字节并把长度混入哈希,避免长字符串被截断后冒充短字符串。日志会标出 break=#7/46 这样的位置,原因词表有 append、system、tools、messages、truncated 五种。
chat.usage 模块解决了什么问题?不同 provider 的缓存命中字段分别是什么?
之前 UI 只认 OpenAI 的 usage.prompt_tokens_details.cached_tokens,导致 DeepSeek 和 Anthropic 的缓存命中永远显示 0%。chat.usage 把任意 provider 的用量压成同一张表 { total, prompt, completion, cached },并带 hit_ratio、summary、sum 派生值,取不到的字段返回 0 而不是 nil。三家字段分别是:OpenAI/DashScope 用 usage.prompt_tokens_details.cached_tokens,DeepSeek 用 usage.prompt_cache_hit_tokens,Anthropic 用 usage.cache_read_input_tokens。
slide_step 配置是做什么的?为什么能减少缓存断点?有什么代价?
slide_step 让截断窗口的起点按批推进,而不是每回合都往前挪一格。窗口在 keep_recent 和 keep_recent + slide_step 之间震荡,攒够一个 step 才跳一次,跳一次断一次,中间回合前缀完全一致。默认 slide_step = 1 保持旧行为。代价是窗口会略微超出预算,截断时机晚于 trigger_threshold。
为什么窗口提示要固定在消息数组末尾?以前放在前面有什么问题?
截断后插入的提示内容包含每次请求都会变的数字(总消息数、当前窗口起止),如果它落在数组头部,第一个字节就变了,整个前缀作废。而截断后只剩一条 user 消息的单轮窗口时,它必然落在头部,导致每请求断一次,只剩 tools 数组还在缓存里。现在固定为最后一条,避免破坏前缀。
用量账本 usage_stats 存在哪里?数据保留多久?怎么查询?
用量账本落盘在 {storage_dir}/usage_stats.json,分三层:total 永久保留,hourly 保留 7 天,daily 保留 365 天。键用定宽 ISO 字符串,字典序即时间序,清理是懒执行(record() 里顺手 vacuum)。查询有 total() 和 range(since),跨度小于 48 小时合并 hourly 桶,更长合并 daily 桶,窗口起点所在桶整块计入,结果最多超出一个桶。HTTP 侧新增 GET /usage-stats 和 DELETE /usage-stats。
飞书集成在 v1.12.0 中新增了哪些权限和私聊相关功能?
飞书支持三档权限 allow_all / whitelist / blacklist,并有一组 admins(open_id、邮箱、手机号均可)。配置白名单和运行时白名单合并而非覆盖,运行时优先,管理员可在群里用 /allow、/deny 直接修改并写入 lark.json。私聊(P2P)默认拒绝,需单独配 p2p.allow;每个私聊有独立工作目录 <cwd_root>/lark-<chat_id>。回复从纯文本改为 interactive card,支持 Markdown 渲染。
升级到 v1.12.0 需要注意哪些不兼容或行为变化?
需要注意三点:1)usage_stats.json 是新文件,不想记录可设 usage_stats = { enable = false };2)tools 数组顺序改为 append-only 冻结,find_tool 返回值从完整 schema 变成一句 Enabled tool "git_log".,如果外部脚本 grep 旧输出会失效;3)飞书新增 acl 和 p2p 两节配置,不配则仍为 allow_all,行为与以前一致。