研究者发现许多知名的闭源和开源大语言模型(LLM)存在高蒸馏度,尤其是Claude、豆包和Gemini例外。虽然蒸馏可以提升模型能力,但过度蒸馏会导致同质化,影响模型处理复杂任务的能力。论文提出了量化蒸馏程度的方法,包括响应相似度评估(RSE)和身份一致性评估(ICE),并通过实验验证了不同模型的蒸馏程度。
完成下面两步后,将自动完成登录并继续当前操作。