SelectIT: 基于不确定性感知的选择性指导调整大型语言模型的方法
内容提要
指令调优是提升大语言模型能力的关键技术。综述梳理了其方法论、数据集构建、模型训练及多模态应用，分析了影响效果的因素与潜在问题。相关研究提出选择性反射微调、未标注数据增强、联邦学习FedIT等方法，并发现跨语言迁移依赖超参数与数据量，数据选择可降低成本，主动调优能提升泛化性能。
延伸解读
指令调优的局限与反思
文章指出，指令调优并非万能：它无法增强大语言模型的知识或技能，从知识来源复制响应模式可能导致响应质量下降，全参数微调还会增加虚构错误。研究还表明，仅从预训练知识生成的响应始终优于通过指令调优学习新知识的模型。这些发现提醒读者，指令调优更适合激发模型已有能力，而非注入新知识。
数据选择与主动调优的效率提升
文章提到，基于样本学习百分比的训练数据选择能让模型自主挑选高质量数据，大幅降低训练成本，且性能达到或超过全数据集训练。此外，基于提示不确定性的主动指导调整能识别信息量大的任务，用更少训练任务实现更好的分布外泛化。这为资源有限的研究者提供了实用思路。
跨语言迁移的关键因素
在多语种环境下，文章发现跨语言迁移成功的关键在于超参数调整和足够的训练数据。虽然英文训练的大语言模型能生成其他语言的正确、全面回答，但可信度较低且可能偶尔出现流畅性错误。这意味着跨语言应用需谨慎评估输出可靠性，并针对目标语言进行调优。
联邦学习与隐私保护
文章介绍了基于联邦学习的指令调优方法FedIT，它能利用客户端上异构和多样化的指令，在保护隐私和数据安全的同时提升大语言模型性能。配套的Shepherd框架支持异构指令下的联邦微调。这为在敏感数据场景下进行指令调优提供了可行方案。
Q&A
什么是指令调优（Instruction Tuning）？
指令调优是增强和可控大型语言模型能力的关键技术，涉及一般方法论、数据集构建、模型训练以及不同模态、领域和应用的应用。
指令调优存在哪些潜在问题或限制？
指令调优无法增强LLMs的知识或技能；从知识来源复制响应模式会导致响应质量下降；全参数微调会增加虚构错误；仅从预训练知识生成的响应始终优于通过IT学习新知识的模型。
有哪些方法可以提升指令调优的效率或效果？
选择性反射微调通过结合教师模型的反思和学生模型的数据选择自动优化数据；UDIT利用未标注数据构建伪标注数据；基于样本学习百分比的训练数据选择可降低训练成本；基于提示不确定性的主动指导调整能提升泛化性能；FedIT利用联邦学习保护隐私并提高性能。
跨语言指令调优成功的关键因素是什么？
跨语言转移成功的关键在于超参数调整和足够的训练数据。英文训练的大型语言模型能生成其他语言的正确、全面和有帮助的回答，但可信度较低且可能偶尔出现流畅性错误。
数据选择在指令调优中有什么作用？
基于样本学习百分比的训练数据选择可以降低训练成本，并达到或超过整个数据集训练的性能表现，表明当前语言模型具备自主选择高质量训练数据的能力。
FedIT是什么？它有什么特点？
FedIT是一种基于联邦学习的指令调整方法，可以利用客户端上存储的异构和多样化指令，保护隐私和确保数据安全，提高LLM的性能。同时开发了名为Shepherd的基础框架，支持异构指令下的联邦微调LLM。
