KS-Lottery: 查找多语言模型的认证彩票
原文中文,约400字,阅读约需1分钟。
📝
内容提要
通过KS-Lottery方法,使用Kolmogorov-Smirnov检验分析参数分布变化,识别出在多语言微调中非常有效的少数LLM参数集。实验证明,微调LLaMA中的18个标记的嵌入层就足以达到微调翻译性能。
🏷️