如何在Python中使用LLM评判器评估AI代理
原文英文，约2200词，阅读约需8分钟。
📝
内容提要
本教程介绍如何用LangChain v1、Ollama、Qwen和Python构建本地AI代理评估工具。通过测试用例、规则检查和LLM评判，生成通过/失败摘要，无需API费用。示例代理含时间和字数工具，评估发现代理遵循用户指令避免工具调用导致失败，通过修改系统提示词修复，最终全部通过。建议结合规则检查与LLM评判，并手动抽查结果。
🔎
延伸解读
评估的价值：捕捉回归
文章指出，本地AI代理通常通过手动测试几个问题来验证，但这种方式在修改提示词、更换模型或添加工具后容易遗漏回归问题。评估框架通过固定测试用例和自动检查，提供可重复的通过/失败信号，帮助开发者及时发现行为变化。
规则检查与LLM评判的互补性
规则检查（如关键词、工具调用）快速且确定，适合明确断言；LLM评判则能处理模糊标准，如回答是否切题。但LLM评判本身可能出错，尤其在小型模型上。文章建议结合两者，并手动抽查结果，以平衡可靠性与灵活性。
系统提示词对代理行为的影响
示例中，代理因遵循用户指令避免工具调用而失败，修改系统提示词后修复。这凸显了系统提示词对代理行为的关键作用，以及评估框架在验证提示词修改效果中的价值。
❓
Q&A
如何用LangChain和Ollama搭建本地AI代理评估工具？
使用LangChain v1、Ollama、Qwen和Python，通过编写测试用例、规则检查和LLM评判器，运行代理并生成通过/失败摘要。所有组件都在本地运行，无需API费用。
什么是LLM-as-a-judge？
LLM-as-a-judge是一种评估方法，使用一个独立的LLM来阅读用户输入和代理输出，并根据给定的评分标准（rubric）判断输出是否合格。它适用于难以用规则检查的模糊标准，但可能出错。
评估AI代理时，规则检查和LLM评判各有什么优缺点？
规则检查便宜、快速且确定性高，适合检查具体关键词或工具调用；LLM评判能处理模糊标准，但可能出错。建议结合使用，并手动抽查结果。
🏷️
