大型语言模型与图神经网络相遇于知识蒸馏
原文中文,约500字,阅读约需1分钟。发表于: 。通过使用 LinguGKD 框架,将大型语言模型作为教师模型和图神经网络作为学生模型,通过设计的节点分类提示来调过教师 LLM 的 Hierarchically 学习到的节点特征和学生 GNN 在潜在空间的对齐,并采用层自适应对比学习策略,提高了学生 GNN 的预测准确性和收敛速度,同时提供了更快的推理速度和更少的计算和存储需求。
本研究提出了一种方法,将大型语言模型(LLMs)的知识提炼为更小、更高效且准确的神经网络,以在资源受限设备上部署模型。通过测试,发现提炼的学生模型准确率优于原始神经网络模型。此研究对自动评分在教育环境中的应用具有潜力。