💡
原文中文，约4400字，阅读约需11分钟。
📝
内容提要
云学堂利用Amazon SageMaker平台成功开发出性能卓越的业务代码生成模型，通过数据准备、训练技术和模型评估，实现了业务场景下的显著提升。
🎯
关键要点
- 云学堂是一家提供数字化企业学习解决方案的科技企业，2024年成功在美上市。
- 云学堂意识到传统代码编写方式无法满足快速迭代和高质量交付的需求，计划开发智能生成和补全代码的大模型。
- Amazon SageMaker是一个全方位的机器学习服务，适用于快速构建、训练和部署机器学习模型。
- 训练方案基于SageMaker构建，使用AST解析生成FIM数据集，提升代码补全能力。
- 数据准备阶段使用AST技术提取业务代码，构建包含海量Java代码的数据集，确保模型理解代码和自然语言的对应关系。
- 训练数据主要包括代码补全和代码插入两种任务，以提升模型在下游应用的表现。
- 全参数微调阶段使用DeepSeek Coder 6.7B作为基座模型，结合多种技术提升模型性能。
- 模型评估阶段显示微调后的模型在业务FIM能力上显著提升，基础能力略有下降但在可接受范围内。
- 云学堂成功开发出性能卓越的DeepSeek-Coder代码生成模型，未来将继续探索AI技术在企业数字化领域的应用。
➡️
