开源jev-align让Jev函数对齐人类判断，标十条数据胜过改三小时提示词
内容提要
Sutro团队开源命令行工具jev-align，利用主动学习和GEPA优化框架，让开发者仅需标注Jev最不确定的少量样本，即可对齐AI函数与人类判断，支持分类、多标签、评分等任务。该工具强调人类判断在优化循环中的核心地位，不自动应用新定义，并支持从生产数据持续捕获信号进行迭代优化。
延伸解读
主动学习如何减少标注浪费
jev-align 采用不确定性采样，只挑选 Jev 预测概率最接近 50% 的样本让人标注。这些样本对决策边界影响最大，而 Jev 已高度确定的样本标注价值极低。文章指出，十分钟精准标注的效果可超过三小时随机标注，因为每一份人力都用在模型最需要学习的地方。
人类审核为何不可跳过
GEPA 生成新定义后，jev-align 会展示评估分数、确定性变化和逐行差异，但不会自动应用。开发者必须手动接受、拒绝或回退。这种设计把人类判断置于优化循环的核心，与追求全自动优化的行业趋势相反，强调最终决策权应保留在人手中。
生产数据驱动持续优化
通过 AIFunction.load 的 capture 参数，jev-align 能在生产调用中自动保存输入和预测。之后恢复优化会话时，不确定样本来自真实用户数据，而非固定测试集。这使优化循环永不停止，模型能持续适应真实场景中的意外输入，越用越准。
双引擎解耦与成本权衡
Jev 评估引擎和 GEPA 反射引擎相互独立，可分别选用不同模型。评估可用廉价模型跑大量数据，反思才调用昂贵模型，从而解耦成本。但文章指出，GEPA 默认 300 次指标调用预算对多标签任务是否足够、不同反射模型的质量差异，均无基准数据，需用户自行摸索。
Q&A
jev-align是什么工具？它主要解决什么问题？
jev-align是Sutro团队开源的命令行工具，用于将TypeSafe的Jev AI函数对齐到人类判断。它通过主动学习和GEPA优化框架，让开发者只需标注少量高不确定性样本，就能持续优化Jev的输出，覆盖二分类、多标签、评分等任务，支持TypeSafe和Vercel等多后端部署。
jev-align和DSPy在优化方式上有什么主要区别？
DSPy自动运行优化循环，用指标分数驱动提示词变异，开发者大多旁观；jev-align则把开发者拽入循环核心，要求人工标注Jev最不确定的样本，并且不会自动应用新定义，必须由开发者审阅差异后手动接受。
为什么jev-align只让标注Jev最不确定的数据？
因为Jev已经高置信度答对的数据标注了也学不到新东西，而概率接近50%的不确定样本标注一条就能显著移动决策边界。jev-align采用不确定性采样，优先学习最不会的题，同时混入少量随机审计样本防止偏科。
jev-align如何从生产环境中持续获取优化信号？
在Python SDK中，使用AIFunction.load加载已保存的Jev函数时设置capture=True，Jev会在每次生产调用时把输入和预测结果存到本地。之后重新打开终端恢复优化会话，新一轮不确定样本就来自真实用户数据，形成持续迭代循环。
jev-align的GEPA反射引擎和Jev评估引擎是如何分工的？
Jev评估引擎负责跑数据、给预测，可走TypeSafe API、Vercel AI Gateway或Cloudflare Workers AI；GEPA反射引擎负责读标注、反思定义偏差并提出修改建议，可调用GPT-4o、Claude或本地vLLM上的Qwen3-8B。两个引擎独立，各用各的模型和成本。
jev-align在成本和质量权衡上存在哪些未明确的问题？
GEPA反射引擎的指标调用预算默认300次，对二分类任务足够，但对15个类别的多标签任务是否够用没有基准测试数据；GPT-4o和Qwen3-8B在同一批标注数据上产出的定义差异对比也完全空白，成本与质量的权衡需用户自行摸索。
