模型蒸馏将大型教师模型的知识迁移到小型学生模型，使其以更少参数达到接近性能并降低部署成本。主要方法包括基于响应（学习软标签中的暗知识）、基于特征、注意力蒸馏和自蒸馏。文章用PyTorch在MNIST上实现响应式蒸馏，学生准确率由97.74%提升至97.91%，并比较了量化、剪枝和低秩分解等压缩技术。

Anthropic加强Claude推理数据保护以打击模型蒸馏，新措施使推理数据提取量下降90%~99%。措施包括保留思考功能、禁止编辑先前对话上下文、限制跨模型读取推理记录，并用分类器识别套取请求，已封禁数万账户。但保留思考机制需开发者调整集成，分类器可能误拦正常请求，误报率低于0.1%，被拦请求仍计费。

研究揭示专有LLM API的思维链加密漏洞：加密块使用全局密钥，可在同一供应商的不同会话间移植。攻击者可将强模型生成的加密思维链注入无防护的弱模型，诱导其转写为明文，从而造成模型蒸馏、用户密钥与密码泄露、越狱获取有害推理及隐藏提示注入等风险。修复方案包括服务端存储或将会话ID绑定到加密块；用户公开日志前应删除推理块。

Jev模型在OpenRouter分类请求中占27%份额，超过DeepSeek V4 Flash。它不生成文本，仅返回结构化判断，延迟低且成本为对手六分之一。创始人Diogo Almeida针对RLHF模式坍缩问题，用RLCD训练出概率校准的决策模型。但开源小模型可蒸馏其能力，纽约大学测试显示其在14/18个任务上落后于大模型。

模型蒸馏让小模型学习大模型行为，降低成本和部署门槛。经典方法通过软标签和温度缩放传递暗知识；大模型时代主要依赖合成数据、特征和logit蒸馏。蒸馏本身是常规工程实践，但未经授权的大规模蒸馏引发行业与法律冲突，目前尚无清晰解决方案。

YC掌门人Garry Tan主张美国应允许初创公司蒸馏本国巨头模型，以抗衡中国开源AI。Anthropic指控中国实验室非法蒸馏，但蒸馏本身合法，美国法律难认定侵权。争议实质是闭源巨头借国家安全维护垄断，网友多支持Garry Tan，并担忧API数据隐私。

Anthropic发布安全报告，指责中国AI公司通过虚假账号大规模调用Claude进行模型蒸馏，并提及长沙学生利用Claude挖掘漏洞。作者认为该报告刻意针对中国，实为借安全之名打压对手、争夺AI话语权，并掩盖自身盗版训练等问题。中国AI应凭实力竞争，无需在意此类报告。

Mostik团队开发了一种“桥”技术，使大模型（如753B的GLM-5.2）能直接向小模型（如4B的Qwen-3.5）传递隐藏状态，无需文本输出，从而将小模型性能提升50%，准确率提高25%，推理成本降至二十分之一。该技术基于模型内部状态包含深层计算信息，团队由菲尔兹奖得主领导，正探索蒸馏和专项化应用。

Anthropic发布Claude Fable 5.1，内置文本水印以识别AI生成内容，但代码等需精确场景不适用。同时限制API新账户保留思考块以防模型蒸馏，现有账户暂不受影响，未来将全面推行。

中国AI开源模型（如Qwen、Kimi）正被西方公司广泛用于微调、训练和合成数据，占比从2024年1月的1%升至2026年2月的69%。西方依赖中国模型作为教师，因使用GPT或Claude输出受限。文章建议美国建立合法渠道，如出售训练权给合格公司，同时加强对外蒸馏限制，以避免依赖中国并保持竞争力。

白宫科技官员指控中国AI公司月之暗面通过欺骗手段大规模蒸馏Anthropic的Fable 5模型，用于训练其Kimi K3系统，并称其在泰国使用英伟达GB300芯片。美方将此视为技术窃取，可能加强API限制和芯片出口管制。月之暗面否认，事件反映中美AI竞争加剧。

Claude Fable 5在发布24小时内被成功越狱，安全系统被揭示为脆弱。越狱者Pliny利用多代理系统和巧妙策略绕过安全措施，泄露了内部提示词，导致模型下线。这一事件突显了安全设计的漏洞和模型蒸馏的潜在威胁，强调了AI行业对抗与进化的重要性。

Anthropic指控阿里巴巴的Qwen团队在45天内通过2.5万个账号进行大规模“模型蒸馏”，完成2880万次交互，涉嫌不当获取AI模型数据。此事件引发美国政界关注，可能导致对中国AI公司的制裁。Anthropic希望通过立法建立新的行业规范，防止未经授权的数据抓取。

埃隆·马斯克在加州法庭作证称，他的AI初创公司xAI使用了OpenAI的模型来提升技术。他提到“模型蒸馏”是行业常见做法，允许大型AI模型作为“教师”训练较小模型。这一做法引发了知识产权争议。

OpenAI指控中国初创公司DeepSeek违规使用“模型蒸馏”技术，复制其产品功能，并已向美国国会提交证据。尽管面临指控，DeepSeek凭借低成本研发出性能相当的竞争产品，市场表现依然强劲，成为OpenAI的主要竞争对手。

大模型在基准测试中表现优异，但推理成本高。模型蒸馏通过知识转移压缩模型，既保持准确性又降低成本，适合边缘设备。本文介绍了蒸馏的原理、应用场景及与其他优化技术的结合，以提高LLM应用的效率和性能。

Nebius Token Factory的客户通过模型蒸馏技术提高搜索排名和语法纠正等任务的效率。该技术将大型模型的行为转移至小型模型，降低延迟和成本，同时保持准确性，越来越多地被行业采用，以实现高效的AI系统，满足经济稳定性需求。

本文探讨了优化语言模型大小的策略，包括模型蒸馏、剪枝、层减少和模块化适应。蒸馏通过教师-学生模型训练小型模型，剪枝移除贡献最小的权重，层减少通过减少网络层数提高效率，模块化方法如LoRA简化模型适应。此外，权重级优化技术如量化和权重共享也被提及，以提高推理速度和减少内存占用。