SMART：指令调优的子模数据混合策略
内容提要
本文研究了指令优化在模型转移学习中的应用，提出了多模态指令调优基准数据集MultiInstruct，并探讨了fine-tuning方法以提升多任务学习性能。研究引入了CoTBal算法和结构因果模型，增强了NLP任务的效果，并展示了SMI函数在数据选择中的有效性。
延伸解读
数据选择策略的实证效果
文章通过多个研究展示了数据选择策略的显著效果。SMI函数在CIFAR-10和MNIST图像分类任务中，相比主动学习等方法提升了20-30%的分类性能。LESS算法仅使用5%的数据进行训练，在多样下游任务中通常优于全数据集训练，且所选数据具有高度可迁移性，能跨模型家族使用。这些结果说明，有目的地选择高质量数据子集，可以在降低训练成本的同时保持甚至提升模型性能。
多模态指令调优的基准与平衡
针对多模态指令调优，文章介绍了MultiInstruct基准数据集和CoTBal算法。MultiInstruct是首个多模态指令调优基准，包含多个特定任务和专家编写的指令，并探索了敏感性评估指标。CoTBal则用于大型多模态模型的多任务视觉指令调整，实验证明能取得优越的整体性能。这些工作为多模态模型的多任务学习提供了数据基础和任务平衡方法。
子集微调与因果模型的应用
文章探讨了子集微调方法，即只对部分层进行精细调整并锁定其余权重，从而在不增加计算成本的情况下实现多任务学习，并在数据稀缺时达到与完全微调相当甚至更好的性能。此外，结构因果模型meta-SCM通过引入潜在因素整合不同NLP任务，仅使用任务相关因果因素进行预测，在提高零样本能力的同时避免伪相关性影响。这些方法为资源受限场景提供了高效解决方案。
Q&A
什么是MultiInstruct数据集，它的目的是什么？
MultiInstruct是第一个多模态指令调优基准数据集，旨在设计多个特定任务和专家编写的指令，以优化模型的强零示性能。
SMI函数在模型训练中有什么作用？
SMI函数通过选择数据子集来解决深度学习模型训练中的数据问题，能够提升分类性能20-30%。
CoTBal算法的主要功能是什么？
CoTBal算法用于大型多模态模型的多任务视觉指令调整，能够提升整体性能。
什么是子集fine-tuning方法，它的优势是什么？
子集fine-tuning方法只对部分层进行调整，能够在数据稀缺的情况下实现与完全fine-tuning模型相当或更好的性能，且不增加计算成本。
LESS算法的作用是什么？
LESS算法用于有效估计数据影响，并执行用于指令数据选择的低秩梯度相似性搜索，通常使用5%的数据训练优于全数据集。
结构因果模型在NLP任务中的应用是什么？
结构因果模型整合不同的NLP任务，通过使用与特定任务相关的因果因素进行预测，提高零样本能力并避免伪相关性。
