BriefGPT - AI 论文速递
·
教科书是你所需的唯一 II: phi-1.5 技术报告
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
Phi-1是一种新的大型代码语言模型，使用60亿个标记的数据和GPT-3.5合成生成的教材进行了为期4天的训练，具有13亿个参数。Phi-1在HumanEval和MBPP上的准确率分别为50.6％和55.5％，并展示了令人惊讶的emergent属性。
🎯
关键要点
- Phi-1是一种新的大型代码语言模型，具有13亿个参数。
- Phi-1使用60亿个标记的数据和GPT-3.5合成生成的教材进行了为期4天的训练。
- 尽管规模较小，Phi-1在HumanEval上的准确率为50.6%，在MBPP上为55.5%。
- Phi-1展示了令人惊讶的emergent属性，尽管其在微调阶段之前的模型phi-1-base和较小模型phi-1-small的表现也不错。
➡️
