LLM 表示的本地微调：LoFiT
内容提要
本研究探讨了微调对大型语言模型的影响，特别是在指令识别、知识存储对齐和单词关系学习方面。提出的自然语言反馈微调方法显著提高了问答任务的准确性。研究还指出低秩逼近微调可能保留偏差和有毒行为，而局部微调方法提高了攻击成功率，适配器微调则改善了机器翻译性能。参数高效微调方法展示了更好的效率与性能平衡。
延伸解读
微调对LLM行为的多层次影响
文章指出，指导微调会从三个层面改变大型语言模型：加强指令识别、对齐知识存储层次、促进单词关系学习。这意味着微调不只是让模型记住新任务，还可能重塑其内部表示与语义关联。理解这些影响，有助于预判模型在迁移到新领域时的行为变化，并为后续优化提供依据。
低秩微调的潜在副作用
低秩逼近微调在捕捉微调数据集与预训练分布之间的转变时存在不足，可能意外保留不合理的偏差和有毒行为。对于有毒模型或公平模型，这种副作用尤其值得警惕。文章提醒，在顺序决策任务中需仔细评估，以促进负责任的大模型开发，避免微调后仍延续原有问题。
参数高效微调的效率与性能平衡
参数高效微调通过调整少量权重来适应大模型。文章提到，低秩线性子空间表示微调在多个评估中实现了比先前最先进方法更好的效率与性能平衡；HiFi方法仅微调与任务高度相关的注意力头，在GLUE基准上取得先进性能。这为资源有限时选择微调策略提供了参考。
不同微调方法的适用场景
文章列举了多种微调方法：LaFFi利用自然语言反馈提升问答准确性；LoFT通过局部微调提高攻击成功率；适配器微调改善机器翻译并减少参数量；半精调通过重置参数减轻遗忘；LIFT在低维分类和回归任务上表现与最佳基线相当。这些方法各有侧重，选择时需结合任务类型、资源与目标。
Q&A
微调对大型语言模型的影响有哪些？
微调对大型语言模型的影响包括指令识别的加强、知识存储层次的对齐和单词关系学习的促进。
什么是自然语言反馈微调方法？
自然语言反馈微调方法（LaFFi）通过要求模型直接预测评注者的反馈，显著提高了问答任务的准确性。
低秩逼近微调存在哪些问题？
低秩逼近微调在捕捉数据集转变方面存在不足，可能保留不合理的偏差和有毒行为。
局部微调方法如何提高攻击成功率？
局部微调方法通过减小代理模型与目标模型之间的差异，提高了攻击的成功率。
适配器微调的优势是什么？
适配器微调改善了机器翻译性能，减少了训练参数量，并解决了少样本学习和过度生成的问题。
HiFi方法在微调中有什么特点？
HiFi方法通过微调与特定任务高度相关的注意力头，展示了更好的效率与性能平衡，在GLUE基准测试中表现优异。
