本研究分析了大型语言模型对人类概念的理解程度，并讨论了发展具备概念意识的语言模型的方法。初步结果证明，概念意识语言模型能更好地符合人类直觉，提高预测稳定性，展示了其潜力。

该研究提出了一种新的度量标准(ID)用于量化节点影响分布的变化，并建议在知识蒸馏中最小化这个影响差异。研究引入了一种高效的近似方法DropDistillation(DD)，实证评估结果表明DD在预测稳定性和总体性能方面优于之前的方法。