本研究提出了一种新的知识蒸馏方法，从神经网络和词汇知识库中提取语言信息，提供高效替代大规模模型。通过多个teacher networks预测权重和词义消歧方法，提高自然语言理解任务性能，同时在Plagiarism Detection方面也有更好表现。