BriefGPT - AI 论文速递 · 2024-02-20T00:00:00Z

大型语言模型的知识蒸馏调查

📝

内容提要

知识蒸馏（KD）机制在大型语言模型（LLM）中起关键作用，将专有模型的功能传输到开源模型。调查讨论了KD机制、认知能力增强和实际应用，展示了数据增广和KD之间的关系，促进可持续的人工智能解决方案。

🏷️

标签

KD机制 大型语言模型 数据增广 知识蒸馏 认知能力增强