深入探讨：GitLab测试平台团队如何验证AI功能
内容提要
AI在软件开发中的地位日益重要，GitLab的测试平台团队通过性能验证和持续分析来测试和分析GitLab Duo功能，以提高生产力和效率。他们使用AI持续分析工具自动收集和分析数据，并通过比较延迟和其他指标来改进功能。此外，他们还进行性能验证和功能测试，以提高用户体验。
延伸解读
AI非确定性对测试策略的影响
AI功能如GitLab Duo具有非确定性，相同输入可能产生不同输出，这给确保一致的用户体验带来挑战。因此，测试策略需要调整：端到端测试中对真实AI响应的断言应足够宽松，仅验证功能无错误或收到某种响应，而不依赖具体内容。同时，通过模拟响应来测试不依赖AI模型的部分，以提高测试速度和可靠性。
性能验证中隔离第三方依赖的方法
GitLab的AI性能测试环境将AI Gateway配置为返回模拟响应，从而在不与第三方AI服务交互的情况下测试GitLab组件的性能。这样既能控制测试成本，又能聚焦于GitLab自身组件可能导致的延迟。多区域延迟测试则从不同地理位置发起，使用GitLab Environment Toolkit和Performance Tool测量TTFB，以验证请求是否由靠近用户的位置服务。
持续分析工具如何驱动AI功能改进
AI持续分析工具在VS Code IDE中自动输入代码提示并记录建议，收集延迟等数据，并利用GitLab的代码质量和安全分析能力评估建议质量。工具自动生成报告，包含关键统计、差异描述和原始数据链接，并录制视频供UX研究员和开发团队审查特定案例。这些洞察帮助团队优化GitLab Duo Code Suggestions的用户体验和系统性能。
功能测试的多层次策略
为确保AI功能按预期工作，GitLab采用单元测试、集成测试和端到端测试。单元和集成测试中，外部API调用被stub以保证快速可靠。端到端测试既使用真实AI响应（断言宽松），也使用模拟响应以频繁验证不依赖AI的代码变更。此外，测试还覆盖IntelliJ和VS Code等IDE中的用户工作流，并通过探索性测试和内部dogfooding识别边缘案例和现实问题。
Q&A
GitLab测试平台团队如何验证AI功能的性能？
GitLab测试平台团队通过性能验证、功能准备和持续分析来测试GitLab Duo功能，以确保其性能最优。
AI持续分析工具的作用是什么？
AI持续分析工具自动收集和分析数据，以评估GitLab Duo的性能并识别改进机会。
GitLab如何处理AI功能的非确定性特性？
GitLab通过适应最佳实践来应对AI的非确定性特性，以确保良好的用户体验。
多区域延迟测试的目的是什么？
多区域延迟测试旨在验证请求是否从合适的位置服务，以优化用户体验。
GitLab Duo的功能测试包括哪些内容？
功能测试包括单元测试和集成测试，以确保AI模型的功能按预期工作。
GitLab如何利用内部使用来改进AI功能？
GitLab通过探索性测试和dogfooding，利用团队成员的实际使用反馈来识别和解决问题。
