Yunfeng's Simple Blog
·
Code Llama 解读系列1-论文阅读
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
Code Llama是Meta基于Llama 2的代码生成AI模型，支持多种编程语言，包括Python、C++、Java、PHP、TypeScript、C#和Bash。该模型在通用代码生成方面表现良好，包含三大类模型，共9个模型，分别适用于不同的场景。
🎯
关键要点
- Code Llama是Meta基于Llama 2的代码生成AI模型，支持多种编程语言。
- Code Llama包含三大类模型，共9个模型，适用于不同场景。
- Meta于2023年8月24日开源了Code Llama，支持学术研究和商业使用。
- Code Llama的官方代码只提供简单示例，缺乏生产环境插件。
- Llama 2的训练数据包含2T token，其中代码相关部分占4%。
- 论文提出了500B token的通用数据集，85%为代码数据。
- 为了提高Python代码生成能力，增加了100B token的Python数据集。
- RLHF V5数据集用于提高代码生成的安全性和准确性。
- self-instruct数据集通过单元测试自动构造代码数据，存在一定错误率。
- 采用Llama 2初始化的finetune效果优于从头训练。
- Code Llama支持代码补全功能，采用Casual Mask训练模式。
- 在finetune阶段，Code Llama将token数从4096提升至16384。
- Code Llama系列模型包含通用代码生成、Python优化和指令优化三类模型。
- 模型在多个测试集上表现良好，具体使用体验将在后续文章中分析。
➡️
