InfoQ
·
Airbnb如何利用大型语言模型加速测试迁移
内容提要
Airbnb通过工作流自动化和大型语言模型，加速了将3500个React测试文件从Enzyme迁移到React Testing Library的过程。工程师们采用逐步迁移的方法，经过多次重试和调整提示，成功在六周内转换了97%的文件，节省了约1.5年的工程时间。
关键要点
-
Airbnb通过工作流自动化和大型语言模型加速了3500个React测试文件的迁移。
-
工程师们采用逐步迁移的方法，成功在六周内转换了97%的文件。
-
提示工程的效果不如多次重试转换，称为“蛮力”方法。
-
迁移过程分为多个步骤，包括重构Enzyme到RTL、修复Jest测试中的错误、运行linter和TypeScript编译器。
-
这种分步方法为自动化管道提供了坚实基础，能够跟踪进度和提高特定步骤的成功率。
-
迁移过程可以同时处理数百个文件，提高了效率。
-
每个步骤都有重试过程，直到没有验证错误或达到最大重试次数。
-
迁移结束时，提示扩展到40,000到100,000个tokens，涉及多达50个相关文件。
-
简单到中等复杂度的文件在四小时内迁移了75%，但约900个文件需要额外处理。
-
对于复杂文件，采用“采样、调整、清扫”策略，分析失败案例并更新提示。
-
长尾文件需要50到100次重试，导致整体过程变慢，但最终97%的文件在四天内完成转换。
-
利用LLMs进行测试迁移将一个估计1.5年的工程项目缩短至六周，同时保持了原始测试意图和代码覆盖率。
延伸问答
Airbnb是如何加速测试文件迁移的？
Airbnb通过工作流自动化和大型语言模型，加速了3500个React测试文件的迁移，成功在六周内转换了97%的文件。
在迁移过程中，Airbnb采用了哪些步骤？
迁移过程包括重构Enzyme到RTL、修复Jest测试中的错误、运行linter和TypeScript编译器。
为什么提示工程的效果不如重试转换？
Airbnb工程师发现，重试转换多次直到成功的“蛮力”方法比单纯的提示工程更有效。
迁移过程中如何处理复杂文件？
对于复杂文件，Airbnb采用“采样、调整、清扫”策略，分析失败案例并更新提示后重新运行。
迁移的效率如何提高？
通过分步迁移和并行处理数百个文件，Airbnb提高了迁移效率。
使用大型语言模型进行测试迁移的最终结果是什么？
使用LLMs进行测试迁移将一个估计1.5年的工程项目缩短至六周，同时保持了原始测试意图和代码覆盖率。
