X-PEFT：面向极端多个配置的极其参数高效微调
内容提要
本文综述参数高效微调（PEFT）方法在内存与计算受限场景下的表现。适度调参（约10%预算）可使机器翻译接近全模型微调；LLMs-Adapters框架让7B小模型媲美175B大模型；AutoPEFT、AdaMix等方法仅调0.1–0.2%参数即超越全微调；Context-PEFT在多模态任务中兼顾效率与性能。
延伸解读
参数预算与性能的权衡
文章指出，当参数预算约为10%时，PEFT在机器翻译任务上能达到与全模型微调相近的效果。但若进一步减少可调参数，性能会下降，且下降幅度受语言对关系影响。对于小型数据集，PEFT甚至可能优于全模型微调。这提示读者：选择PEFT时需根据任务数据量和语言对特点来平衡参数预算与性能。
小模型借助PEFT媲美大模型
LLMs-Adapters框架表明，对7B小模型应用基于适配器的PEFT，在数学推理任务上可达到与175B大模型相似甚至更优的性能。这意味着在资源受限时，通过参数高效微调，小模型也能具备强大能力，为实际部署提供了高性价比的选择。
极低参数调优的可行性
AutoPEFT和AdaMix等方法仅调整0.1–0.2%的参数，就能在NLU和NLG任务上超越全模型微调。AutoPEFT通过贝叶斯优化自动配置PEFT模块，在GLUE基准上表现优异。这些方法说明，极少量参数调优即可实现高效迁移，但需注意其配置搜索可能增加额外开销。
多模态场景的PEFT实践
Context-PEFT针对多模态任务，根据令牌领域学习不同的适配器参数组，无需架构修改即可实现类似LoRA的权重注入。在COCO字幕任务上，它优于全微调，同时提升了参数效率和计算经济性。这为多模态迁移学习提供了一种避免架构改动的有效方案。
Q&A
参数高效微调（PEFT）在机器翻译任务上需要多少参数预算才能接近全模型微调的效果？
当参数预算为10%时，PEFT在机器翻译任务上可以达到与全模型微调类似的效果。
LLMs-Adapters框架如何让小型LLM达到大型LLM的性能？
LLMs-Adapters框架利用少量可调参数对小型LLM进行微调，在六种数学推理数据集上，将adapter-based PEFT应用于7B小型LLM可以取得与175B大型LLM相似甚至更优秀的性能。
AutoPEFT框架是如何平衡性能和参数效率的？
AutoPEFT通过高维贝叶斯优化自动配置多个PEFT模块，控制并最大化性能和参数效率之间的平衡，在GLUE基准上表现优于现有PEFT方法，甚至优于全模型微调。
AdaMix方法在微调时调整了多少参数？它在哪些任务上超越了全模型微调？
AdaMix仅调整0.1-0.2%的预训练语言模型参数，在自然语言理解（NLU）和自然语言生成（NLG）任务上超越了最先进的参数高效微调方法和完整模型微调。
Context-PEFT在多模态任务中有什么优势？
Context-PEFT根据令牌的领域学习不同的适配器参数组，实现类似LoRA的权重注入而无需额外架构修改，在COCO字幕任务上，在类似数据限制下优于完全微调，同时提供更高的参数效率和计算经济性。
PEFT方法在数据量很少时存在什么问题？
PEFT方法在数据过少的情况下收敛速度慢。
