模型能正常出字，答案却悄悄变差：推理配置漂移比报错更危险
内容提要
模型服务返回正常不代表按作者设定运行，危险在于“静默配置漂移”：模型声明的参数被推理引擎默认值覆盖。Entail项目检查300个模型，发现180个接受vLLM的rope_scaling覆盖，64个改变RoPE基数，导致GSM8K准确率下降却无警告。建议部署时保存有效配置快照，对关键字段做启动前对账，并结合确定性金样本检测行为漂移，不能只依赖健康检查或聚合分数。
延伸解读
静默漂移为何比报错更危险
模型服务返回200、token流畅，只说明进程活着，不代表模型按作者声明运行。Entail检查300个模型，180个接受vLLM的rope_scaling覆盖，64个改变RoPE基数，导致GSM8K准确率下降却无警告。这种静默配置漂移不会触发错误，却直接改变模型行为，比显式报错更难发现和定位。
聚合分数会掩盖样本级漂移
原文Gemma 2实验中，不同后端总分接近，但500个答案中有198个不同。聚合分数把样本级差异平均掉，让评测看起来正常。健康检查也只能证明进程活着，不能证明关键声明到达消费点。因此不能只依赖总分或健康检查判断配置是否生效。
启动前对账关键字段
应从模型目录和运行时诊断接口分别读取声明值与有效值，对位置编码、聊天模板、滑动窗口、量化方案和缓存长度等关键字段做启动前对账。示例中rope_theta从150000变成10000，门禁输出BLOCK。配置门禁解决声明丢失，金样本发现行为漂移，两者不能互相替代。
工具边界与落地风险
Entail回放12个真实输出bug时，8个能在目标显卡复现，但工具一个都没抓到；内核算术、解析器逻辑和生命周期错误不在覆盖范围。自动修复需谨慎，配置冲突涉及质量与成本取舍时，默认阻断通常比悄悄改值更安全。快照还需规范化并剔除密钥，避免不可比差异。
Q&A
什么是静默配置漂移？为什么它比报错更危险？
静默配置漂移指模型文件声明的参数被推理引擎的默认值覆盖，导致模型实际运行配置与作者设定不一致。它比报错更危险，因为服务仍返回200、token流畅，没有警告，但答案质量可能悄悄下降。
Entail项目发现了哪些具体问题？
Entail项目检查了Hub下载量靠前的300个文本生成模型，发现180个会接受vLLM启动时的rope_scaling覆盖，其中64个因此改变了RoPE基数。例如Llama-3.2-3B-Instruct在GSM8K前500题上正确数从379降到273，且无警告。
为什么模型评测分数不能替代配置对账？
聚合分数会把样本级漂移平均掉。例如Gemma 2实验中不同后端总分接近，但500个答案中有198个不同。健康检查也只能证明进程活着，不能证明关键声明到达了消费点。
开发者如何落地配置对账？有哪些最小实践？
部署清单应保存模型仓库revision、推理引擎版本、启动参数和有效配置快照；对位置编码、聊天模板、滑动窗口、量化方案和缓存长度建立关键字段表；先跑预检，再跑少量确定性金样本，最后做吞吐压测。配置门禁解决声明丢失，金样本发现行为漂移，两者不能互相替代。
配置对账工具（如Entail）有哪些适用边界和风险？
Entail回放12个真实输出bug时，8个能在目标显卡复现，但工具一个都没抓到；内核算术、解析器逻辑和生命周期错误不在覆盖范围。工具不是部署正确证明书。自动修复需谨慎，配置冲突涉及质量与成本取舍时，默认阻断比悄悄改值更安全。
如何设计更完整的发布门禁？
可分三档：第一档在CPU上解析模型元数据并比较静态配置；第二档加载模型后导出注意力后端、上下文长度和缓存配置，确认真实消费值；第三档用固定随机种子运行少量边界样本，包括短输入、接近最大上下文和结构化输出。只有第三档失败时，才能进一步判断是配置、内核还是模板问题。
