【中文Llama-3】Chinese-LLaMA-Alpaca-3开源大模型项目正式发布
内容提要
中国LLaMA-Alpaca-3开源大模型项目发布，包括Llama-3-Chinese-8B和Llama-3-Chinese-8B-Instruct模型。这些模型使用中文数据进行预训练和精调，提升了中文语义和指令理解能力。模型已在多个平台上线。
延伸解读
词表策略：为何不再扩充中文词表
与一期、二期不同，本项目直接使用Llama-3原生128K词表，未进行扩充。文章指出，Llama-3原生词表的中文编码效率约为中文LLaMA-2词表的95%，编码效率已不是主要瓶颈。结合中文Mixtral项目的经验，词表扩充并非语言迁移的必要条件。这一策略简化了流程，并可能提升与Llama-3生态的兼容性。
性能提升的显现阶段：增量预训练与指令精调
文章提到，与中文Mixtral的实验观察一致，中文增量预训练并不会快速提升中文下游任务能力，而是在指令精调之后才显现出效果。因此，Llama-3-Chinese-8B-Instruct通过500万高质量指令精调，才在中文指令理解上获得显著提升。读者需注意，基座模型的中文能力可能有限，需经精调才能发挥。
生态适配与量化版本：降低使用门槛
项目提供了GGUF量化版本（2bit至8bit），并适配了llama.cpp、transformers、text-generation-webui、LM Studio、Ollama等工具，以及仿OpenAI API的部署方式。这些适配让用户能在本地或云端快速体验和部署模型，无需深入底层细节。量化版本尤其适合资源有限的场景，但可能带来精度损失。
评测方式：主观对战与客观指标结合
项目推出了在线对战平台，提供胜率、Elo评分等主观评价指标，题库为人工制作的360题，涵盖10个能力维度。同时，文章也给出了客观评价结果，显示在英文任务上部分集合超过原版模型。这种结合方式有助于全面评估模型，但读者需注意主观评测可能受题目和对手影响。
Q&A
Llama-3-Chinese-8B模型的主要特点是什么？
Llama-3-Chinese-8B模型基于Llama-3-8B，使用约120GB中文语料进行增量训练，提升了中文语义理解能力。
Llama-3-Chinese-8B-Instruct模型是如何进行精调的？
Llama-3-Chinese-8B-Instruct模型通过500万条高质量指令数据进行精调，增强了指令理解能力。
这个开源项目在哪些平台上可以找到？
相关模型已在Hugging Face、ModelScope、机器之心SOTA!社区和Gitee等平台上线。
Llama-3模型的词表大小有什么变化？
Llama-3模型的词表大小从32K提升至128K，编码效率显著提高。
如何评测模型的回复质量？
可以通过在线对战平台评测模型回复质量，提供胜率和Elo评分等指标。
项目是否提供了相关的开源指令数据？
是的，项目开源了Alpaca指令数据和STEM指令数据，供用户下载。
