Podium如何通过LangSmith优化代理行为并将工程干预减少90%
内容提要
Podium是一个帮助小型企业与客户联系的沟通平台，利用AI技术提高潜在客户转化率。他们使用LangSmith来测试和监控AI员工的表现，通过整理数据集和优化模型来提高代理人的对话能力。LangSmith还帮助技术产品专家实时解决客户问题，减少了工程干预的需求，提高了客户满意度。Podium计划将LangGraph整合到他们的工作流程中，以实现更好的代理人协调。
延伸解读
从单轮对话到复杂代理：LangSmith 如何解决可观测性瓶颈
Podium 最初使用 LangChain 处理单轮交互，但随着代理用例复杂化，每次交互涉及 20-30 次 LLM 调用，工程师难以理解客户询问及解决步骤。LangSmith 提供了 LLM 调用的可见性，通过日志和追踪聚合洞察，帮助团队快速定位问题。这种可观测性成为后续测试、优化和减少工程干预的基础。
模型蒸馏与平衡数据集：提升对话结束检测的实践
Podium 的 AI 员工曾难以识别对话自然结束，导致重复告别。他们利用 LangSmith 创建包含多种对话结束场景的数据集，并升级到更大模型，再通过模型蒸馏将输出整理到小模型。工程师在追踪中添加客户资料、业务类型等元数据，分组聚合相关追踪，构建高质量平衡数据集，避免过拟合。最终微调模型 F1 分数从 91.7% 提升至 98.6%，超过 98% 的质量阈值。
支持团队自助排障：工程干预减少 90% 的关键
Podium 的技术产品专家团队通过 LangSmith 追踪，能快速判断客户问题类型：应用 bug 或 LLM 问题需工程干预，而上下文不完整或指令不匹配可由 TPS 团队直接修复。例如，当 AI 员工错误回答经销商不提供换油服务时，TPS 可使用 LangSmith Playground 编辑系统输出，并确定是否通过管理界面设置更改解决。这使工程干预需求减少 90%，工程师能更专注于开发。
未来方向：LangGraph 整合与代理协调
Podium 计划将 LangGraph 整合到工作流程中，以降低代理编排的复杂性，同时服务不同目标客户，并增强对代理对话的控制力。结合 LangSmith 和 LangChain，Podium 在客户体验工具领域获得了竞争优势，能更高效地设计、测试和监控 LLM 应用，从而专注于帮助小企业更有效地捕获潜在客户。
Q&A
Podium如何帮助小型企业提高客户转化率？
Podium通过提供一个沟通平台，帮助小型企业快速与客户联系，从而提高潜在客户的转化率。
LangSmith在Podium的AI员工优化中起到了什么作用？
LangSmith用于测试和监控AI员工的表现，帮助Podium优化模型和提高对话能力，减少工程干预需求。
Podium是如何进行AI员工性能测试的？
Podium通过数据集整理、在线评估、用户反馈收集和模型微调等步骤进行AI员工的性能测试。
使用LangSmith后，Podium的支持团队效率有何变化？
使用LangSmith后，Podium的支持团队效率提高，减少了90%的工程干预需求，客户满意度得分也有所改善。
Podium如何处理客户问题以减少工程干预？
Podium通过LangSmith快速识别客户问题，判断问题类型并采取相应措施，从而减少了对工程师的依赖。
Podium未来的计划是什么？
Podium计划将LangGraph整合到工作流程中，以增强代理人协调能力，并继续优化客户体验工具。
