开源jeff：GLiFormer在情感分类准确率追平jev
内容提要
开源项目 jeff 使用 4 亿参数 GLiFormer 模型在本地 GPU 进行文本分类，完整复刻 TypeSafe 的 jev API 协议，仅需修改 TYPESAFE_BASE_URL 环境变量即可零代码迁移，成本从每百万次 15.6 美元降至 2.6 美元。简单情感和情绪分类准确率几乎追平 jev，但 AG News 主题分类和反讽检测落后约 15 个百分点。推荐使用 Modal 平台的 L4 GPU 部署，每秒约处理 50 次请求。
延伸解读
成本与准确率的权衡
jeff将每百万次请求成本从15.6美元降至2.6美元，但准确率并非全面持平。在简单情感和情绪分类上几乎追平jev，而AG News主题分类和反讽检测落后约15个百分点。团队需评估自身流量中简单模式匹配任务的比例，若绝大多数请求无需复杂推理，则jeff的性价比极高；反之，若业务依赖反讽或长文本理解，jev的溢价可能物有所值。
零代码迁移的工程价值
jeff完整复刻了jev的System One API协议，包括请求响应格式和模型名称别名。迁移时只需设置TYPESAFE_BASE_URL环境变量，无需修改SDK或业务代码。这消除了自托管分类方案常见的集成成本，如重写请求结构、处理认证限流等。对于已使用typesafe-sdk的团队，切换几乎无感，但需注意本地部署的运维和GPU资源管理。
部署选择与性能表现
推荐在Modal平台使用Nvidia L4 GPU部署，实测吞吐量约每秒50次请求，p50延迟151毫秒。动态批处理机制将5毫秒内到达的请求打包成最多16条的批次，提升GPU利用率。CPU方案（ONNX Runtime）延迟和成本反而高于jev云端API，仅作兜底。Mac用户可自动启用MPS加速。生产环境应优先考虑GPU部署以确保性能。
校准机制与未解之谜
jeff默认对GLiFormer输出施加3.2温度缩放，使置信度分数更具区分度，并隔离noul问题避免注意力污染。但存在一个未解释的矛盾：noul二分类概率校准良好，而同一编码器输出的score有序评分却出现明显校准偏差。截至最新提交，此问题仍未解决。用户在使用score功能时需谨慎对待其置信度分数，建议通过bench工具自行验证。
Q&A
jeff 是什么？它和 TypeSafe 的 jev 有什么关系？
jeff 是 TypeSafe 公司 jev System One API 的自托管替代实现，基于 GLiFormer（400M 参数）模型。它完整复刻了 jev 的 API 协议，可以直接配合官方 typesafe-sdk 使用，只需将 TYPESAFE_BASE_URL 指向 jeff 即可零代码迁移。
使用 jeff 替代 jev 能节省多少成本？
jeff 将 TypeSafe 的 jev API 成本从每百万次请求 15.6 美元降至 2.6 美元，降幅达到六倍。
jeff 在哪些分类任务上准确率接近 jev？哪些任务差距较大？
在二分类情感判断（正面 vs 负面）和情绪分类（开心、悲伤、愤怒等）任务上，jeff 的准确率几乎追平 jev，差距小到可以忽略。但在 AG News 主题分类上差距约 15 个百分点，反讽检测和阅读理解类任务也显著落后。
如何将现有使用 jev 的应用迁移到 jeff？
只需设置两个环境变量：TYPESAFE_API_KEY=devkey 和 TYPESAFE_BASE_URL=http://localhost:8000。设置后，所有通过 typesafe-sdk 调用 client.system_one() 的请求会自动路由到本地 jeff 实例，无需修改代码或 SDK。
jeff 推荐如何部署？性能如何？
推荐在 Modal 平台上使用一张 Nvidia L4 GPU 部署。实测吞吐量约为每容器每秒 50 次 HTTP 请求，p50 延迟为 151 毫秒。jeff 通过动态批处理（收集 5 毫秒内的请求，打包成最多 16 条一批）实现高吞吐。
jeff 的温度校准机制是什么？有什么作用？
jeff 默认对 GLiFormer 输出的原始概率施加 3.2 的温度缩放，拉大高概率和低概率之间的差距，使置信度分数更具区分度。温度 1.0 时概率分布平坦，难以决策；温度 3.2 后高概率标签可推到 0.9 以上，低概率压到 0.1 以下。
jeff 的 noul 隔离机制是什么？
jev 原始行为让所有分类问题共享同一次编码器前向传播，导致问题间注意力竞争。jeff 默认对 noul（是否概率）类型的问题单独做一次编码器前向传播，隔离 noul 与 choice/score 问题，避免跨问题注意力污染。设置 JEFF_ISOLATE=all 可完全隔离每个问题，但计算成本翻倍。
