本研究评估了开源聊天机器人的性能，提出了LLaMA和Alpaca模型，以提升中文语义理解能力。构建了Aurora模型，验证其在中文对话中的有效性，并提出ChatFlow模型，实现高性能训练。研究还探讨了持续预训练和关键混合比的优化策略，提升了模型在特定领域的表现。

中国LLaMA-Alpaca-3开源大模型项目发布，包括Llama-3-Chinese-8B和Llama-3-Chinese-8B-Instruct模型。这些模型使用中文数据进行预训练和精调，提升了中文语义和指令理解能力。模型已在多个平台上线。

https://zhuanlan.zhihu.com/p/618321077

主项目: github, blog 衍生项目 alpaca-lora Chinese-alpaca-lora japanese-alpaca-lora cabrita 葡萄牙语 ymcui/Chinese-LLaMA-Alpaca 额外的中文词表和预训练 ydli-ai/Chinese-ChatLLaMA 也有预训练

这篇文章中，我们来聊聊如何使用两张显卡来进行 LLaMA 65B 大模型的微调工作，以及如何在一张普通的 4090 家用显卡上，只花几个小时，就能够完成 7B 模型的微调。

还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。

Clone 项目到本地 mikecaptain@CVN % git clone https://github.com/antimatter15/alpaca.cpp mikecaptain@CVN % cd alpaca.cpp 下载训练好的模型权重： mikecaptain@CVN % wget -O ggml-alpaca-7b-q4.bin -c...