使用对比校准指示为未见过的低资源语言中的机器翻译调整 LLMs
内容提要
该文综述大语言模型指令调优研究：Instruct-Align通过跨语言对齐使模型学习新语言并防止遗忘；指令调优平均提升模型与人脑对齐约6%，且与模型规模、世界知识表现强相关；多语言示例可显著改善跨语言迁移；BioInstruct与SciTune分别面向生物医学和科学多模态任务；指令反向翻译与Self-Instruct可低成本构建高质量指令数据。
延伸解读
指令调优与人类认知对齐的实证发现
文章引用研究评估25个原始与指令调优LLM，发现指令调优平均提升大脑对齐约6%，但对行为对齐无类似效果。大脑对齐与模型规模（r=0.95）和世界知识任务表现（r=0.81）强正相关，提示指令调优可能通过改善世界知识表示来增强与人类大脑的表征相似性。
低资源语言纳入的跨语言迁移策略
Instruct-Align框架通过对称对齐的跨语言指令调优，使LLM学习新语言并防止灾难性遗忘，将低资源语言纳入现有模型。多语言示例用于指令调优可显著改善跨语言迁移和指令跟随能力，为低资源语言机器翻译调整提供可行路径。
低成本构建高质量指令数据的途径
指令反向翻译利用少量种子数据和网络语料，通过生成指令提示（自助增强）并筛选高质量样本（自我策划）构建训练数据，两次迭代微调LLaMa后在Alpaca排行榜上优于其他基于LLaMa的模型且不依赖蒸馏数据。Self-Instruct框架同样无需过多人工指令数据即可提升指令遵循能力。
领域专用指令调优的实践案例
BioInstruct包含超过25000个生物医学任务示例，用于微调LLaMA（1&2，7B&13B）以优化信息提取、问答和文本生成能力。SciTune框架则提升LLM理解科学多模态指令的能力，LLaMA-SciTune在ScienceQA各子类别上优于仅用机器生成数据调整的模型，并超越人类表现。
Q&A
Instruct-Align 框架是如何让大语言模型学会新语言并避免遗忘旧知识的？
Instruct-Align 通过对称对齐方法进行跨语言指导调整，使大语言模型能够有效学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入现有模型。
指令调优对 LLM 与人类大脑对齐有什么影响？
指令调优通常使大脑对齐平均提高约 6%，但对行为对齐没有类似效果。大脑对齐与模型大小（r=0.95）和需要世界知识的任务表现（r=0.81）呈强正相关。
多语言指令调优中，跨语言迁移和多语言示例有什么作用？
研究发现，跨语言转移以及将多语言示例用于指令调优对多语言指令跟随具有显著的改进作用。
BioInstruct 数据集是什么？它如何提升 LLM 在生物医学领域的表现？
BioInstruct 是一个包含超过 25000 个示例的定制任务特定指令数据集。通过使用该数据集对 LLM 进行微调，可以优化 LLM 在生物医学自然语言处理领域的性能，研究评估了 LLaMA 模型在信息提取、问答和文本生成方面的能力。
指令反向翻译方法如何低成本构建高质量指令数据？
指令反向翻译使用少量种子数据和给定网络语料库对语言模型进行微调，通过为网络文档生成指令提示构建训练样本（自助增强），然后选择高质量例子（自我策划），再用这些数据微调模型。对 LLaMa 进行两次迭代微调后，模型在 Alpaca 排行榜上性能优于其他基于 LLaMa 的模型，且不依赖蒸馏数据。
SciTune 框架如何提升 LLM 理解科学多模态指令的能力？
SciTune 框架通过调整大语言模型，使其与科学学科、概念和目标相符合，从而提高 LLM 理解科学多模态指令的能力。在 ScienceQA 基准测试中，LLaMA-SciTune 在各个子类别上均优于人类表现，且优于仅使用机器生成数据调整的模型。
