LangChain Blog
·
Clay如何利用LangSmith调试、评估和监控每月3亿次代理运行
💡
原文英文，约1400词，阅读约需6分钟。
📝
内容提要
Clay是一个创意工具，帮助市场团队构建和激活名单，销售团队利用AI进行目标账户研究和个性化沟通。Clay每月运行约3亿次AI代理，依赖LangSmith提供实时跟踪和生产监控，以确保质量和控制成本。
🎯
关键要点
- Clay是一个创意工具，帮助市场团队构建和激活名单，销售团队利用AI进行目标账户研究和个性化沟通。
- Clay每月运行约3亿次AI代理，涉及多步骤推理过程，包括网页抓取、研究综合、账户资格评估和个性化信息撰写。
- Clay的客户包括快速增长的初创公司和大型企业团队，依赖该平台进行大规模的外部营销。
- 为了维护质量和控制成本，Clay依赖LangSmith作为其可观察性和评估的基础。
- Clay的AI旅程始于使用聊天完成来总结长文档和撰写外部文案，随后用户开始自主抓取网页并提取见解。
- Clay的AI代理分为三个阶段：寻找目标账户、丰富账户信息和帮助客户扩展现有账户。
- 随着代理使用的扩大，Clay面临质量、成本和模型快速增长的挑战。
- LangSmith的集成使Clay能够在代理开发的早期阶段进行追踪，确保每个新代理的质量和性能。
- LangSmith提供的生产监控功能使Clay能够分析使用模式、成本概况和错误率，快速识别问题。
- Clay使用LangSmith进行离线评估，以评估模型变化或提示更新的效果。
- LangSmith的影响包括显著减少财务不确定性，使Clay能够快速调整定价并将成本降低直接传递给客户。
- Clay的工程团队通过LangSmith的追踪功能缩短了调试周期，提升了开发者的生产力。
- Clay正在探索更复杂的代理，利用LangSmith的线程功能跟踪多轮交互，并在软件开发生命周期中实验背景编码代理。
➡️
