无嘴模型：AI 的 OLTP 时刻
内容提要
文章提出“无嘴模型”概念：AI判断类任务只需概率分布，无需生成文本。Jev等模型一次前向即输出选项概率，耗时约百毫秒、成本极低，适合分类、路由、告警分诊等场景。作者类比数据库OLTP与OLAP，认为这是AI的OLTP时刻，判断层应进入请求链路，并强调校准与本地部署的重要性。
延伸解读
判断层进入请求链路的前提
文章强调，无嘴模型将判断延迟压到百毫秒级，使AI能像OLTP点查一样嵌入同步请求链路。但这一位置对可靠性要求极高：控制流不能依赖跨洋API，否则网络故障会直接中断程序分支。因此本地可部署成为范式成立的前提，而非可选优化。同时，延迟可预估才能做准入控制和SLO，这是判断层从异步后台走向实时链路的关键工程条件。
校准：比准确率更稀缺的原语
文章指出，大模型普遍缺乏“知道自己不知道”的能力，报90%时实际可能只对六成。无嘴模型若真能通过RLCD实现校准，让0.9意味着九成正确，则“可信的犹豫”成为新原语。但截至文章发布，这一项零公开证据。校准可以后天用温度缩放、conformal prediction等方法补做，只需少量带真实结果的历史数据，但数据漂移后仍需重校。
从生成到识别：边界与代价
无嘴模型适合选项已知的识别任务，如分类、路由、告警分诊；选项未知的搜索任务，如写新代码、想新方案，仍需生成式模型。文章用数据库类比：System 2是全表扫描，System 1是走索引。判断层进入控制流后，程序需结合代价矩阵决定动作，而非直接使用模型输出的概率。阈值应是代价的影子，例如漏报赔50、误报赔5时，叫人阈值约为0.09而非0.9。
本地部署的经济性与硬件选择
文章估算，在512 token输入、4-bit量化、单请求下，3B模型在DGX Spark上约72毫秒，8B约165毫秒，32B约667毫秒。本地部署适合持续监控类负载，按API标价每月1088美元的场景，一台4699美元的Spark四五个月可回本。但大统一内存并未普遍击败独立GPU：RTX 5090跑8B仅45毫秒，限制在容量。压缩状态往往比换更大模型更重要。
Q&A
什么是无嘴模型？它和普通大模型有什么区别？
无嘴模型是一种只输出概率分布、不生成文本的AI模型。它一次前向传播就能给出所有选项的概率，耗时约百毫秒，成本极低。普通大模型需要自回归生成文本，而它直接读取选项对应的概率，不写作文、不解释自己。
无嘴模型适合用在哪些场景？
适合分类、路由、告警分诊、工单归类、日志异常检测、注入检测、候选文档相关性判断、Agent操作安全检查等判断类任务。这些任务的答案空间事先已知，只需要几个bit的答案。
为什么说无嘴模型是AI的OLTP时刻？
数据库有OLTP（点查，毫秒级，高频）和OLAP（扫描，秒到小时，低频）两种模式。过去大模型像OLAP，重、慢、贵；无嘴模型像OLTP，点查、毫秒级、便宜到随手调。它让判断层能进入请求链路，就像OLTP把数据库放进请求链路一样。
无嘴模型为什么快且输出免费？
它只做prefill（读输入），没有decode循环，不需要逐token生成，也不重读KV cache。GPU一次搬砖能砌一整排，算力被充分利用。没有输出token，所以输出免费。输入短、原来输出长时收益最大，可快75倍。
无嘴模型在本地部署有什么优势？
小模型和大模型在判断任务上的差距远小于生成任务；控制流不能跨洋，本地部署避免API依赖；敏感状态不出门；成本上本地设备几个月回本；个体化校准只能在本地长。本地AI叙事会从“在家跑Llama”转向“在家跑你的判断器”。
无嘴模型会取代Agent吗？
不会取代，而是给Agent补零件。Agent把程序塞进模型循环，无嘴模型把模型塞回程序循环，代码是主循环，模型是返回概率的函数。它处理Agent中大量的“一眼题”，如工具结果校验、终止检查、相关性过滤，节省三到五成token。
使用无嘴模型时，如何设置决策阈值？
阈值不是字面量，而是代价的影子。根据贝叶斯决策规则，如果漏报代价50、误报代价5，则叫人的条件是p > 5/(5+50) ≈ 0.09，而不是0.9。当最大概率低于拒绝阈值时，应交给人处理。阈值应由代价矩阵推导，而非凭直觉写0.9。
无嘴模型有哪些局限和风险？
它只能做识别，不能做多步推理，复杂判断不如带CoT的小模型；输出受约束不代表输入攻击失效；校准是claim而非result，缺乏公开证据；判别式判断有天花板，System 2在最难判断上仍碾压；控制环不能交给它，高风险动作需要硬约束和责任边界。
