LLM决策架构迎来解耦拐点，TypeSafe的Jev用概率校准替代生成式推理
内容提要
TypeSafe发布Jev决策模型，采用RLCD概率校准替代大模型生成式推理，直接输出概率而不生成推理过程。单次决策成本约0.0004美元、耗时0.4秒，比Opus 5便宜400倍、快近百倍。独立测试中，Jev零样本垃圾邮件分类准确率达98.3%，打平用1.48万条数据训练的分类器，概率校准可靠，可自动处理95.4%样本。其短板是不生成解释、准确率方差大、反馈回路需重建。
延伸解读
成本与速度的权衡：Jev并非全面超越
Jev在成本与速度上优势显著，单次决策成本约0.0004美元、耗时0.4秒，比Opus 5便宜400倍、快近百倍。但准确率上，Jev平均68%，低于Opus 5的73%。这意味着在容错率高的场景（如垃圾邮件分类）Jev可大幅降本，但在医疗、金融等对准确率要求严苛的领域，仍需依赖大模型。读者需根据业务容忍度权衡。
概率校准：自动化决策的关键
Jev的核心优势在于概率校准可靠，其返回的概率值真实反映正确率。例如垃圾邮件实验中，评分低于0.1的邮件仅0.1%是垃圾邮件，高于0.9的99.9%是垃圾邮件。这使得系统可自动处理95.4%的样本，仅将模糊区间交人工，整体准确率保持99.5%。而大模型裁判的置信度常虚高，无法实现可靠自动化。
架构解耦：决策与生成分离的代价
Jev将决策层与生成层拆开，用低成本模型做全量实时质检，再对大模型生成解释。这解决了成本问题，但带来新挑战：Jev不生成解释，反馈回路需重建。过去大模型裁判直接提供修改建议，现在需异步调用大模型生成解释，导致修复延迟从秒级拉长到分钟级甚至小时级，可能影响实时自愈场景。
局限与未知：准确率方差与规模考验
Jev在四种工作流上准确率方差极大，有的接近大模型，有的差距明显。且目前最大独立测试仅18514条数据，当数据量膨胀到千万级，其概率校准曲线能否保持干净尚不可知。此外，68%的平均准确率在医疗、法律等场景远不够用。读者需关注这些局限，避免过度依赖。
Q&A
Jev决策模型和传统大语言模型在决策方式上有什么本质区别？
Jev采用RLCD概率校准，直接输出每个选项的概率值，不生成任何推理过程或自然语言句子；而传统大语言模型是自回归文本生成器，必须逐词元写出推理过程才能给出答案。
Jev做一次决策的成本和耗时是多少？比主流大模型便宜多少？
Jev单次决策成本约0.0004美元，耗时0.4秒。相比Opus 5（0.18美元、38秒），成本只有其四百分之一，速度快近百倍；相比GPT-5.6 Terra（0.03美元、10秒），成本约七十五分之一，速度快二十五倍。
Jev在垃圾邮件分类上的零样本准确率如何？和传统分类器比呢？
在18514封邮件的独立测试中，Jev零样本准确率达98.3%，打平了用约14800条标注数据训练的TF-IDF逻辑回归分类器（98.4%），两者仅466封判断不一致且统计上无显著差异。
Jev的概率校准有什么实际价值？能用来做自动化吗？
Jev的概率值真实可信，评分低于0.1的邮件仅0.1%是垃圾邮件，高于0.9的99.9%是垃圾邮件。因此可自动处理95.4%的样本（评分低于0.1或高于0.9），只将0.3到0.7区间的4.6%交给人工复核，整体准确率仍保持99.5%。
Jev有哪些主要短板或局限性？
Jev不生成解释，只返回类别标签和概率数字；官方评测平均准确率仅68%，且不同工作流方差极大；反馈回路需重建，实时标记后需异步调用大模型生成解释，延迟从秒级拉长到分钟级甚至小时级；大规模数据下概率校准是否稳定尚不确定。
Jev的出现对LLM应用架构有什么影响？
Jev将决策层和生成层彻底拆开，过去判断和写作混在同一次大模型调用中，现在可以用Jev以极低成本对每次工具调用、每个智能体步骤做全量实时监控，把昂贵的大模型留给真正需要生成解释或文本的环节。
