为LangSmith评估引入Pytest和Vitest集成
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
评估（evals）是构建高质量LLM应用的重要环节。LangSmith推出了Pytest和Vitest/Jest的集成，简化了评估流程。新集成使开发者能够在调试时记录输入输出，跟踪进展并共享结果，从而灵活定义测试案例，实时反馈，提升协作效率。
🔎
延伸解读
评估的重要性
在构建高质量的LLM应用时，评估是确保应用性能和质量的关键环节。通过LangSmith的集成，开发者可以更有效地跟踪和记录应用的表现，确保在更新过程中不会出现质量下降的问题。
团队协作的优势
使用LangSmith的评估功能，团队成员可以轻松共享实验结果，促进协作。这对于涉及多个领域专家的项目尤为重要，因为不同的专家可以在同一平台上查看和讨论评估结果，从而提高工作效率。
实时反馈的价值
集成的测试框架提供实时反馈，使开发者能够快速发现和修复问题。这种快速反馈机制在本地迭代应用时尤为重要，能够显著提高开发效率，减少调试时间。
❓
Q&A
LangSmith的Pytest和Vitest集成有什么优势？
这些集成提供了灵活性、熟悉的开发体验和可观察性，帮助开发者在调试时记录输入输出，跟踪进展并共享结果。
如何在LangSmith中记录测试案例的输入和输出？
在测试中使用LangSmith的日志功能，可以通过t.log_inputs()和t.log_outputs()记录输入和输出。
LangSmith如何帮助团队共享实验结果？
LangSmith允许团队成员共享实验结果，促进协作，特别是在涉及多个专家的情况下。
使用Pytest和Vitest进行LLM评估的主要好处是什么？
主要好处包括灵活的评估逻辑、实时反馈和CI管道集成，帮助快速发现和修复问题。
LangSmith提供哪些内置评估函数？
LangSmith提供了如expect.edit_distance()等内置评估函数，用于检查LLM输出的准确性。
如何将评估集成到CI管道中？
通过将测试框架与CI管道结合，可以在持续集成过程中运行评估，帮助早期捕捉回归问题。
🏷️
