七月论文审稿GPT第2.5和第3版：分别微调GPT3.5、Llama2 13B以扩大对GPT4的优势
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
自去年7月份成立大模型项目团队以来，已有5个项目组，其中AIGC模特生成系统已上线，论文审稿GPT将在今年3 4月份发布，RAG知识库问答第1版已就绪。微调GPT3.5 Tubor 16K正在进行，微调费用为13635元。微调13B模型首选Llama-2-13b-chat-hf。
🎯
关键要点
- 自去年7月份成立大模型项目团队以来，已有5个项目组。
- AIGC模特生成系统已上线，论文审稿GPT将在今年3-4月份发布。
- RAG知识库问答第1版已就绪，第四、第五项目组的大模型机器人和Agent正在迭代中。
- 论文审稿GPT在过去半年已迭代两个版本，第二版效果超过GPT4。
- 正在进行GPT3.5 Turbo 16K的微调，微调费用为13635元。
- 微调使用的数据集为15566条paper-review数据，token数量为118689950。
- 微调GPT3.5的前期调研包括费用、微调流程和格式转换。
- 初步验证微调效果，使用156条数据进行微调，效果待评估。
- 对于13B模型的微调，首选Llama-2-13b-chat-hf，要求双48g或单卡80g的显卡。
➡️
