本文提出了一种新的参数高效的跨语言转移学习框架，通过基于翻译的对齐方法缓解多语言差异，并探索参数高效的微调方法。实验证明，该框架显著减少了语言之间的差异，在跨语言转移方面取得了改进。尤其在低资源场景中，只需保留和微调极少量的参数，相比全模型仅需0.16%的额外参数。