TinyLlama：一种开源的小型语言模型
内容提要
该文汇总了Meta等机构发布的多款大语言模型，包括基于Llama 2、具备先进代码生成与长上下文能力的Code Llama；参数70亿至700亿、微调版在有用性和安全性上可替代闭源模型的Llama 2；以公开数据训练、13B超越GPT-3的LLaMA；以及泰米尔语增强模型、多语言YAYI 2、数学模型Llemma、TigerBot、多模态TinyGPT-V、中文LLaMA/Alpaca和TinyStories数据集等。
延伸解读
从模型清单看开源生态的多样性
文章列举了从代码、多语言、数学到多模态的多种开源模型，如Code Llama、YAYI 2、Llemma和TinyGPT-V。这反映出开源社区正沿着通用能力、垂直领域和资源效率等不同方向分化，而非单纯追求参数规模。读者可借此了解不同模型的设计目标与适用场景，但需注意各模型的发布时间和评估基准并不统一，横向比较时需谨慎。
小模型与数据质量的新思路
TinyStories数据集使用GPT-3.5和GPT-4生成仅含3至4岁儿童词汇的文本，用于训练和评估更小的语言模型，并引入语法、创造性和连贯性等评估维度。这提示小模型的能力不仅取决于参数，也与训练数据的受控程度和评估方式有关。对于低资源或专业领域，这种思路可能降低研究门槛，但文章未说明其泛化到复杂任务的效果。
中文与多语言能力的补强路径
文章提到通过中文数据集预训练和指令微调来增强LLaMA和Alpaca的中文语义理解，以及用泰米尔语令牌和LoRA方法提升LLaMA的泰米尔语生成。这些案例表明，在开源基座模型上针对特定语言进行数据增强和高效微调，是改善代表性不足语种性能的可行路径。不过，相关改进多基于特定语料和评估，实际跨语言迁移效果仍需结合具体任务验证。
Q&A
Code Llama 是什么？它有哪些主要特点？
Code Llama 是一套基于 Llama 2 的大型代码语言模型，在开源模型中具有最先进的性能、填充能力、大尺寸输入上下文支持以及无人操作编程任务的指令跟随能力。
Llama 2 有哪些参数规模？它的微调版本表现如何？
Llama 2 的预训练和微调模型规模从 70 亿到 700 亿参数不等。其微调版本 Llama 2-Chat 在大多数测试中优于开源聊天模型，根据人工评估，在有用性和安全性方面可能是闭源模型的合适替代品。
LLaMA 模型在基准测试中的表现如何？
LLaMA 包含 7B 至 65B 参数的基础语言模型，使用公开数据集训练。其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 PaLM-540B 相竞争。
YAYI 2 是什么模型？它的表现如何？
YAYI 2 是一个具有 300 亿参数的基础模型和聊天模型的多语言模型，通过多个基准测试表明比其他类似规模的开源模型表现更好。
Llemma 是什么？它在数学基准测试中表现如何？
Llemma 是一个大型数学语言模型，通过将 Code Llama 进行预训练得到。它在 MATH 基准测试中表现优于所有已知的开源基础模型，同时还能进行工具使用和形式定理证明而无需进一步微调。
TinyStories 数据集是什么？它有什么用途？
TinyStories 是一个使用 GPT-3.5 和 GPT-4 生成的数据集，只包含 3 到 4 岁儿童通常理解的单词。它可以用来训练和评估比现有模型小得多的语言模型，并引入新的评估范式来评估语言能力（如语法、创造性和连贯性），促进低资源或专业领域的语言模型发展。
