“用调评” 一体化:生成上下文数据集,改善 AI 测试生成质量
原文中文,约3800字,阅读约需10分钟。
📝
内容提要
最近,AutoDev开源插件构建了端到端开源辅助编程方案,通过微调开源模型和构建开源数据工程,实现了更贴合不同组织现状的编码方案。AI辅助单元测试在编码场景中效果较好,但难点在于构建好的上下文。基于开源模型微调可以解决测试代码生成问题。Unit Eval设计了统一提示词、代码质量管道和可扩展的质量阈,构建了测试生成的数据工程能力。通过识别基础元素、代码质量管理和函数长度控制等方式实现了一体化的工程思路。
🎯
关键要点
-
AutoDev开源插件构建了端到端开源辅助编程方案。
-
通过微调开源模型和构建开源数据工程,实现更贴合不同组织的编码方案。
-
AI辅助单元测试在编码场景中效果较好,但构建好的上下文是难点。
-
好的AI测试上下文应包括类的构造信息、接口和函数的输入输出、测试框架信息及测试代码规范。
-
基于开源模型微调,采用DeepSeek 6.7B模型作为代码生成基础模型。
-
Unit Eval设计了统一提示词、代码质量管道和可扩展的质量阈。
-
统一提示词通过识别基础元素来构建测试框架信息。
-
代码质量管理使用ArchGuard Rule扫描测试代码,确保生成质量。
-
可扩展的质量阈控制测试代码函数的长度。
-
结合规范的持续演进,构建新的Unit Eval测试数据集并进行微调。
-
生成的测试用例需符合命名规范,以确保准确性。
-
持续演进整体架构是编写AI辅助编码工具的挑战。
🏷️