BERT 的治愈力量：如何通过任务特定微调恢复受损的语言模型
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
研究表明，微调BERT模型显著提升其在特定任务上的表示能力。多语言BERT的微调增强了语言无关表征，但牺牲了语言特定表征。对比不同模型的鲁棒性发现，GPT-2表现更佳。此外，研究探讨了低资源环境下的微调方法，强调数据多样性对模型泛化能力的重要性。
🔎
延伸解读
微调对BERT内部表征的重组效应
文章指出，微调BERT会显著改变其顶部层的表示，且影响程度因任务而异：依赖解析涉及大部分模型层，而SQuAD和MNLI涉及较浅。对多语言BERT的微调则增强了语言无关表征，但牺牲了语言特定表征。这表明微调并非简单调整，而是对模型内部知识结构的重新组织，可能影响模型在多语言或跨领域场景下的表现。
鲁棒性对比：GPT-2的优势与扰动弱点
在多种输入扰动下，GPT-2表现出比BERT和T5更好的鲁棒性。研究还发现，丢失名词、动词或改变字符对模型性能影响最大。这提示读者，不同Transformer模型对扰动的敏感点不同，实际应用中需针对特定弱点进行防御或数据增强，而非假设所有模型具有相同的鲁棒性。
低资源环境下的微调策略与数据多样性
针对数据点少于1000的低资源场景，文章探讨了基于池的主动学习和冻结层方法，以加速训练并减少可训练参数。同时，研究强调数据多样性对泛化能力至关重要，尤其是在克服偶然相关性时。这些策略为资源有限时提升模型性能提供了可行方向，但需注意其效果依赖于具体任务和数据分布。
❓
Q&A
微调BERT模型有什么显著影响？
微调BERT模型显著影响其顶部层的表示，尤其是依赖解析的部分。
多语言BERT的微调有什么利弊？
多语言BERT的微调增强了语言无关表征，但牺牲了语言特定表征。
在鲁棒性测试中，哪个模型表现更佳？
在鲁棒性测试中，GPT-2表现更佳，尤其在多种输入扰动下。
数据多样性对模型的影响是什么？
数据多样性对模型的泛化能力至关重要，尤其在低资源环境下。
如何提高低资源环境下模型的性能？
可以通过主动学习和冻结层的方法，提高低资源环境下模型的性能。
微调BERT模型时存储和计算成本如何降低？
微调时可以通过对预训练参数的某些层设置为零，来降低任务特定参数的存储和计算成本。
🏷️
