LLaMA Pro：带块扩展的渐进 LLaMA
内容提要
LLaMA研究表明，使用不到1%的预训练数据即可在知识对齐和响应质量上媲美先进迁移模型，十三种低资源语言呈现相似趋势。分析发现，扩大模型规模主要增强推理与数学能力并减少幻象，但需超过一定阈值；低层缺乏算术事实知识，顶层在计算与现实知识方面最强。LLaMA-13B在多数基准上优于GPT-3。相关研究还涉及嵌入式问答、程序合成训练效率、标签监督微调、翻译模型ALMA、意大利语适配、电商LLaMA-E及小模型自我改进。
延伸解读
小数据微调可媲美大模型迁移
文章指出，使用不到1%的预训练数据对LLaMA进行微调，就能在知识对齐和响应质量上达到与先进迁移模型相当的性能，且这一趋势在十三种低资源语言中同样成立。这意味着开发非英语LLM时，不必依赖海量标注数据，少量高质量数据即可实现有效适配，为资源有限的语言场景提供了可行路径。
模型规模并非万能：阈值与层次差异
分析发现，单纯扩大模型规模并不能自动带来更多知识或计算能力，主要增强的是推理与数学能力，并有助于减少幻象，但需超过一定规模阈值才有效。同时，LLaMA低层缺乏算术和事实知识，顶层则在计算和现实世界知识上最强。这提示使用模型时应关注其内部层次的能力分布，而非仅看参数总量。
LLaMA-13B的基准表现与生态延伸
LLaMA-13B在多数基准测试中优于GPT-3（175B），LLaMA-65B则与Chinchilla-70B和PaLM-540B相竞争。围绕LLaMA已衍生出多种适配研究，包括嵌入式问答、程序合成训练效率、标签监督微调、翻译模型ALMA、意大利语适配、电商LLaMA-E及小模型自我改进。这些工作表明LLaMA作为开源基础模型具有广泛的扩展潜力。
Q&A
LLaMA 模型在预训练数据使用上有什么特点？
LLaMA 在使用不到 1% 的预训练数据时，就能在知识对齐和响应质量上达到与最先进迁移模型相媲美的性能，这一趋势在十三种低资源语言中同样存在。
扩大 LLaMA 模型规模能带来哪些能力提升？
扩大模型规模主要增强推理能力（尤其是数学问题解决），并有助于减少幻象，但需要超过一定规模阈值才能实现；它几乎不会自动带来额外的知识或计算能力。
LLaMA 不同层次的模型在能力上有何差异？
较低层次缺乏实质性的算术和事实知识，但展示了逻辑思维、多语言和认知能力；顶层则具有最大的计算能力和现实世界的知识。
LLaMA-13B 与 GPT-3 相比性能如何？
LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），而 LLaMA-65B 等模型可与 Chinchilla-70B 和 PaLM-540B 竞争。
LLaMA 在非英语语言适配方面有哪些实践？
研究探索了意大利语的适配策略，贡献了 LLaMAntino 意大利语 LLM 家族；同时实验表明在十三种低资源语言中，使用不到 1% 的预训练数据也能达到与先进迁移模型相媲美的性能。
LLaMA 在电子商务领域有哪些应用？
提出了 LLaMA-E 语言模型，针对电子商务撰写任务（如广告生成、查询增强的产品标题重写、产品分类、购买意向推测和常见问答），以 GPT-3.5 为教师模型扩展种子指令形成训练集，在定量和定性评估中取得最先进结果，并在零样本场景中展现优势。
