baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现
原文中文，约3400字，阅读约需9分钟。发表于：。2023年7月11日，百川智能发布Baichuan-13B(这是其GitHub地址Baichuan-13B 是继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，本次发布包含以下两个版本预训练(对齐(，July注：我看了下代码，这里的对齐指的是通过对话数据对齐，即只做了SFT，没做RLHF)更大尺寸、更多数据Baichuan-13B 在...
MOSS是复旦大学邱锡鹏团队开源的对话语言模型，参数量为160亿，包括基座模型、微调模型和插件增强模型。MOSS还有量化版本，占用显存较少。baichuan-7B是百川智能开发的开源预训练语言模型，基于Transformer结构，训练数据量为1.2万亿，上下文窗口长度为4096。baichuan-7B在分词和数据集方面进行了优化，采用了多种方法提升模型效果和训练吞吐。
