baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现
💡
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
MOSS是复旦大学邱锡鹏团队开源的对话语言模型，参数量为160亿，包括基座模型、微调模型和插件增强模型。MOSS还有量化版本，占用显存较少。baichuan-7B是百川智能开发的开源预训练语言模型，基于Transformer结构，训练数据量为1.2万亿，上下文窗口长度为4096。baichuan-7B在分词和数据集方面进行了优化，采用了多种方法提升模型效果和训练吞吐。
🏷️
标签
➡️
