该文汇总了Meta等机构发布的多款大语言模型，包括基于Llama 2、具备先进代码生成与长上下文能力的Code Llama；参数70亿至700亿、微调版在有用性和安全性上可替代闭源模型的Llama 2；以公开数据训练、13B超越GPT-3的LLaMA；以及泰米尔语增强模型、多语言YAYI 2、数学模型Llemma、TigerBot、多模态TinyGPT-V、中文LLaMA/Alpaca和TinyStories数据集等。

TinyLlama是一款参数只有1.1B的小型强大模型，4比特版本只需550M内存运行。它可用于大型模型的speculative decoding、边缘装置上的离线实时机器翻译和游戏中的实时对话生成。目前正在训练过程中，使用16块A100-40G的GPU，在90天内完成3万亿tokens的训练。