Aquila2 技术报告
内容提要
本文概述了指令调优（IT）在大型语言模型（LLMs）中的应用，探讨了IT方法论、数据集构建和模型训练等方面，指出现有策略的不足并提出改进方向。TULU 2模型及其相关数据集在多语言任务中表现优越，推动了开放资源的发展和未来的研究合作。
延伸解读
指令调优的现状与改进方向
文章系统回顾了指令调优的方法论、数据集构建和模型训练，并分析了影响调优结果的因素，如指令输出的生成和数据集大小。同时指出了现有策略的不足，并提出了有益的研究方向。这有助于读者理解指令调优的关键挑战和未来趋势。
TULU 2：开放指令调优的进展
TULU 2 是一套改进的模型，包括高质量指令数据集 TULU-V2-mix、基于 LLAMA-2 微调的 TULU 2、利用 DPO 训练的 TULU 2+DPO（含 70B 版本）以及针对代码的 CODE TULU 2。评估显示其在开放模型中达到最先进性能，部分基准匹配或超越 GPT-3.5-turbo-0301，且所有资源均已开源。
多语言指令跟随的突破：Aya 倡议
Aya 倡议建立了覆盖 65 种语言的人工策划指令跟随数据集，包含 5.13 亿个实例，并提供了注释平台、数据集、集合和评估套件。Aya 23 模型在 23 种语言上表现优越，超越了 Aya 101 及 Gemma、Mistral 等模型。该倡议涉及 119 个国家的合作者，为弥补资源差距的研究合作提供了框架。
领域与效率优化：Aquila-Med 和 AquilaMoE
Aquila-Med 是基于 Aquila 的双语医学 LLM，通过持续预训练、监督微调和强化学习，在医学对话和多项选择题上取得显著成果。AquilaMoE 是一种双语 Mixture of Experts 模型，采用两阶段高效训练方法，显著提升预训练效率并减少数据需求，展示了良好的知识传递能力。
Q&A
指令调优（IT）在大型语言模型中的作用是什么？
指令调优（IT）是增强大型语言模型（LLMs）能力的关键技术，能够提高模型的可控性和适应性。
TULU 2模型有哪些改进和特点？
TULU 2模型通过改进的数据集和微调技术，提升了在多语言任务中的表现，并与GPT-3.5-turbo-0301的性能相匹配或超越。
Aya倡议的目的是什么？
Aya倡议旨在弥补资源差距，促进来自119个国家的研究合作，为未来的研究提供框架。
Aquila-Med模型解决了什么问题？
Aquila-Med模型通过持续预训练和强化学习，解决了医学领域开源社区的性能问题，取得了显著成果。
AquilaMoE模型的创新之处在哪里？
AquilaMoE模型采用双语Mixture of Experts (MoE)架构，通过高效训练方法显著提升了预训练效率，减少了数据需求。
如何构建多语言数据集以支持指令调优？
通过与全球流利的语言使用者合作，建立覆盖65种语言的人工策划指令跟随数据集，并利用模板和翻译现有数据集。
