知识蒸馏（KD）机制在大型语言模型（LLM）中起关键作用，将专有模型的功能传输到开源模型。调查讨论了KD机制、认知能力增强和实际应用，展示了数据增广和KD之间的关系，促进可持续的人工智能解决方案。