InfoQ ·

DoorDash构建LLM对话模拟器，以大规模测试客服聊天机器人

💡 原文英文，约500词，阅读约需2分钟。

📝

内容提要

DoorDash开发了一种模拟评估系统，能够快速进行数百次客服聊天机器人测试，显著提高实验效率。该系统将幻觉率降低了约90%，通过生成真实客户互动的多轮对话，结合自动评估框架，确保聊天机器人在实际场景中的表现。工程师通过持续迭代优化提示和上下文处理，以达到上线前的评估标准。

🔎

DoorDash的模拟评估系统显著提高了客服聊天机器人的测试效率。通过快速运行数百次对话，工程师能够在短时间内识别问题并进行优化。这种高效的测试方式为产品上线前的质量保证提供了强有力的支持，降低了潜在的客户服务风险。

该系统通过上下文工程的改进，将幻觉率降低了约90%。然而，LLM驱动的聊天机器人在处理自然对话时，仍可能因小调整而产生不可预测的结果。因此，工程师需要持续监控和优化，以确保聊天机器人在真实场景中的表现稳定可靠。

传统的客服自动化依赖于确定性决策树，而DoorDash的系统则采用了基于LLM的自然对话处理方式。这一转变虽然提升了用户体验，但也带来了新的挑战，如对上下文的依赖和对小调整的敏感性，工程师需对此保持警惕。

❓

DoorDash的模拟评估系统可以快速进行数百次客服聊天机器人测试，提高实验效率，并降低幻觉率约90%。

通过上下文工程改进和自动评估框架，DoorDash的系统有效地降低了聊天机器人的幻觉率。

测试流程包括识别客户问题、创建评估、生成对话、分析错误并进行迭代，直到达到可接受的评估通过率。

传统客服自动化依赖于确定性决策树，而LLM驱动的代理处理自然对话，导致小调整可能产生不可预测的结果。

DoorDash通过识别失败案例、添加评估检查和生成额外模拟来处理聊天机器人中的失败案例。

模拟器使用历史支持记录推导客户意图和行为模式，生成反映真实客户互动的多轮对话。

🏷️