开源kev决策模型： 基于Qwen2.5-0.5B小型开源Jev决策模型
内容提要
Jared Palmer 开源了基于 Qwen2.5-0.5B 微调的决策模型 kev-0.5b，采用指针读出头替代自回归解码，单次前向传播即可并行回答多个问题，在 MacBook 上训练仅需 1 小时 45 分钟。测试集准确率达 79.9%，接近闭源模型 Jev 的 81.1%，且概率校准更优；但域外迁移准确率仅 63.3%，与 Jev 相差 19.1 个百分点，仍是待解难题。
延伸解读
指针读出头：决策模型的新范式
kev 摒弃了传统的自回归解码，在 Qwen2.5-0.5B 最后一层隐藏状态上添加指针读出头，通过点积和 softmax 直接输出选项概率分布。这种设计让模型无需生成文字，单次前向传播即可并行回答多个问题，大幅降低推理延迟。对于需要快速批量决策的场景，这种架构可能比逐字生成的 LLM 更高效。
域外迁移：小模型的明显短板
尽管 kev 在训练集上准确率接近闭源 Jev，但在完全未见过的迁移测试集上，准确率从 79.9% 骤降至 63.3%，与 Jev 的 82.3% 差距拉大到 19.1 个百分点。这表明小模型在泛化能力上仍有局限，若业务场景涉及多领域或动态数据，需谨慎评估其实际表现。
概率校准：比准确率更贴近业务风险
kev 在域外迁移集上的期望校准误差（ECE）为 0.052，低于 Jev 的 0.075，说明其输出的概率更可靠，不会过度自信。在需要模型表达不确定性的场景（如人工审核辅助），校准度高的模型能减少误导。但若追求域外准确率，Jev 的大参数优势仍不可忽视。
可复现性与安全机制
kev 提供了完整的开源训练和评估流程，包括冻结研究套件、哈希校验和测试集保护，确保实验结果可复现。此外，模型对特殊标记的清洗和转义能防止用户输入注入结构性指令，但选项顺序敏感性（翻转率 0.208）和无关选项干扰（log-odds 偏移 0.13）仍是待改进点。
Q&A
kev-0.5b 是什么？它和闭源 Jev 有什么关系？
kev-0.5b 是 Jared Palmer 开源的一个小型决策模型，基于 Qwen2.5-0.5B 微调，采用指针读出头替代自回归解码，单次前向传播即可并行回答多个问题。它模仿了 TypeSafe 闭源决策引擎 Jev 的架构，在测试集上准确率 79.9%，接近 Jev 的 81.1%。
kev-0.5b 如何做到一次前向传播回答多个问题？
kev 将所有问题和选项打包成一个 token 序列，使用块因果掩码让每个问题分支只能看到 state 和自身分支，问题之间完全隔离。state 只计算一次，所有分支共享，位置编码在每个问题分支重新从 0 开始。这样单次前向传播即可并行输出所有问题的答案概率。
kev-0.5b 的训练成本和硬件要求是什么？
kev-0.5b 使用 LoRA 微调，r=16，训练数据来自六个公开数据集共 9000 条记录、13500 个问题，训练两个 epoch。在 Apple M5 芯片的 MacBook Pro 上训练仅需 1 小时 45 分钟；在 Modal 的 H100 容器上训练一次完整实验成本约 15 到 30 美分。
kev-0.5b 在域外迁移任务上的表现如何？
在完全不在训练集里的迁移测试集（TREC、DBpedia-14、Emotion、IMDB、Amazon、QNLI、TweetEval、MMLU，共 640 道题）上，kev-0.5b 的准确率降至 63.3%，而 Jev 为 82.3%，差距达 19.1 个百分点，95% 置信区间为 [-23.1, -15.0]。
kev-0.5b 的概率校准度怎么样？为什么重要？
kev-0.5b 在 held-out 测试集上的期望校准误差（ECE）为 0.065，温度缩放后降至 0.031；在域外迁移集上 ECE 为 0.052，低于 Jev 的 0.075。概率校准度反映模型输出概率的可靠性，校准度高的模型在真实决策场景中更可信，能避免过度自信误导业务。
kev-0.5b 的 API 如何与 TypeSafe 的 SDK 兼容？
kev 的 API 端点 POST /v1/systemone 完全复刻了 TypeSafe 的 System One 合约，请求体包含 state（文档内容）和 questions 字典（每个问题带 type、instructions 和 criteria）。只需将 TypeSafe 官方 SDK 的 base_url 指向本地 http://127.0.0.1:8009 即可直接使用，无需修改代码。
kev-0.5b 目前有哪些局限性？
主要局限包括：域外迁移准确率仅 63.3%，与 Jev 差距 19.1 个百分点且缩小路径未知；对选项顺序敏感，选项顺序翻转率为 0.208（Jev 为 0.000）；对选项集合变动并非完全免疫，IIA 测试中 log-odds 平均偏移 0.13。
