💡
原文中文，约4400字，阅读约需11分钟。
📝
内容提要
云学堂利用Amazon SageMaker平台成功开发出性能卓越的业务代码生成模型，通过数据准备、训练技术和模型评估，实现了业务场景下的显著提升。
🎯
关键要点
- 云学堂是一家提供数字化企业学习解决方案的科技企业，2024年成功在美上市。
- 云学堂意识到传统代码编写方式无法满足快速迭代和高质量交付的需求，计划开发智能生成和补全代码的大模型。
- Amazon SageMaker是一个全方位的机器学习服务，适用于快速构建、训练和部署机器学习模型。
- 训练方案基于SageMaker构建，使用AST解析生成FIM数据集，提升代码补全能力。
- 数据准备阶段使用AST技术提取业务代码，构建包含海量Java代码的数据集，确保模型理解代码和自然语言的对应关系。
- 训练数据主要包括代码补全和代码插入两种任务，以提升模型在下游应用的表现。
- 全参数微调阶段使用DeepSeek Coder 6.7B作为基座模型，结合多种技术提升模型性能。
- 模型评估阶段显示微调后的模型在业务FIM能力上显著提升，基础能力略有下降但在可接受范围内。
- 云学堂成功开发出性能卓越的DeepSeek-Coder代码生成模型，未来将继续探索AI技术在企业数字化领域的应用。
❓
延伸问答
云学堂如何提升业务代码生成能力？
云学堂通过利用Amazon SageMaker平台，结合AST技术和大语言模型，成功开发了DeepSeek-Coder代码生成模型，提升了业务代码生成能力。
Amazon SageMaker在云学堂的项目中起到了什么作用？
Amazon SageMaker提供了构建、训练和部署机器学习模型的全方位服务，帮助云学堂快速开发和优化代码生成模型。
云学堂的DeepSeek-Coder模型在评估中表现如何？
DeepSeek-Coder模型在业务FIM能力上提升了44%，CodeBleu得分从38.96提升至56.07，显示出显著的性能提升。
云学堂是如何准备训练数据的？
云学堂使用AST技术提取业务代码，构建了包含海量Java代码的数据集，确保模型理解代码和自然语言的对应关系。
微调阶段使用了哪些技术来提升模型性能？
微调阶段使用了DeepSeek Coder 6.7B作为基座模型，并结合了PiSSA、LoRA等多种技术来提升模型性能。
云学堂未来的计划是什么？
云学堂计划继续探索AI技术在企业数字化领域的应用，推动代码生成和其他相关技术的发展。
➡️
