LangSmith推出Align Evals功能,帮助用户校准评估者以更好地匹配人类偏好。该功能允许用户迭代评估提示,比较人类评分与LLM生成的分数,并保存基线对比。用户可以通过选择评估标准、创建示例数据、手动评分和测试提示来逐步提升评估者的表现,未来还将推出分析工具和自动提示优化功能。
完成下面两步后,将自动完成登录并继续当前操作。