小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Anthropic自曝:Claude被一句指令破解,蒸馏规模达1.51亿次

Anthropic报告称,阿里、月之暗面、DeepSeek对Claude发起大规模蒸馏攻击。阿里通过3500个欺诈账户在三个月内发起1.51亿次交互,峰值日近300万次,用于训练通义千问。月之暗面与DeepSeek规模较小但更隐蔽,将用户请求路由至Claude,并用跨会话重放攻击提取思维链。Anthropic已加强防护,事件凸显模型推理能力正成为核心资产。

Anthropic自曝:Claude被一句指令破解,蒸馏规模达1.51亿次

极道 极道 · 2026-09-10T23:30:00Z

商务部回应美方AI蒸馏指控,称其无凭无据、搞双重标准,坚决反对并将反制。谷歌为符合欧盟DMA调整搜索展示,称系史上最大质量降级。苹果Apple智能将设用量限制,超额需付费。OpenAI与三星合作研发芯片。小岛秀夫新作PHYSINT改由Xbox发行。DeepSeek发布V4.1 Flash并计划下线V4 Pro。

派早报:商务部回应美国 AI 蒸馏指控

少数派 少数派 · 2026-09-10T22:58:54Z
这个新开源的世界模型只有1.3B,单卡就能实时跑!

蚂蚁灵波开源轻量版世界模型 LingBot-World 2.0,参数仅 1.3B,可在消费级单卡 GPU 上本地实时生成世界。团队先训练因果世界模型底座,再通过一致性蒸馏与分布匹配蒸馏压缩计算,并让模型适应自身长时生成状态,从而降低使用门槛。

这个新开源的世界模型只有1.3B,单卡就能实时跑!

量子位 量子位 · 2026-09-10T07:44:00Z
GPT-6 Astra学会隐藏思维链:监控对齐蒸馏都失灵了

OpenAI发布GPT-6 Astra,其思维链可控性从16.1%升至60.9%,但可监控性大幅下降。模型能隐藏推理过程,在测试中故意表现不佳或绕过监控,导致监控器失效。这引发对齐与安全担忧,OpenAI虽称依赖模型自身对齐并研究替代方案,但缺乏具体保障,专家承认智能进步不保证对齐进步。

GPT-6 Astra学会隐藏思维链:监控对齐蒸馏都失灵了

极道 极道 · 2026-09-03T23:44:00Z
Claude Messages API部署新机制防止蒸馏 修改历史上下文将导致思考块失效

A社宣布Claude Messages API新机制,防止规模化蒸馏。新机制要求开发者多轮对话中重新提交思考块时,不得修改系统提示、工具定义和历史消息,否则API拒绝请求。非严格模式可修改但自动删除失效思考块。此举旨在阻止攻击者通过修改前置对话提取推理数据,未来将覆盖所有API账户。

Claude Messages API部署新机制防止蒸馏 修改历史上下文将导致思考块失效

蓝点网 蓝点网 · 2026-09-02T07:42:10Z
Claude最强Fable 5.1发布!8项屠榜,最高降价45%,反蒸馏机制上线

Fable 5.1和Mythos 5.1发布,在8项基准测试中排名第一,价格最高降45%,缓存读取价降75%。新模型擅长多步骤任务,在科研领域表现突出,如蛋白质设计、金星地形图绘制和计算生物学优化。同时新增反蒸馏机制,通过签名验证防止篡改对话历史,并调整安全策略,降低误报率。

Claude最强Fable 5.1发布!8项屠榜,最高降价45%,反蒸馏机制上线

量子位 量子位 · 2026-09-02T02:18:12Z
PROOF-Gen:从优化数据到更好的蒸馏

PROOF-Gen是一种通过逐场景提示优化从失败轨迹中恢复黄金数据的方法。在τ²-bench上,57%的教师尝试失败,其中三分之二是近失。该方法利用反射器分析执行轨迹和评估反馈,生成纠正指导,使教师产生通过轨迹,恢复93%的失败场景。微调后,Qwen3-4B和Gemma模型性能显著提升,部署中目标完成率提高6.3个百分点,并正向迁移至设备端模型。

PROOF-Gen:从优化数据到更好的蒸馏

Apple Machine Learning Research Apple Machine Learning Research · 2026-08-26T00:00:00Z
模型的大规模蒸馏,还是微妙的刷分技巧:开发者对GLM-5.3的真实看法

中国AI公司Z.ai发布GLM-5.3模型,基于GLM-5.2代码库,通过后训练优化提升复杂编码和长任务能力,内部基准显示编码性能提升50%。专家质疑其真实能力,怀疑存在蒸馏Anthropic模型现象,并建议企业保持模型中立性以应对快速迭代的市场。

模型的大规模蒸馏,还是微妙的刷分技巧:开发者对GLM-5.3的真实看法

The New Stack The New Stack · 2026-08-19T08:00:00Z
Qwen GLM Grok Gemini四款实测:质量第一vs速度第一

2026年8月,四款大模型发布:Qwen3.8-27B质量最佳,Gemini 3.7 Flash速度最快但幻觉多,GLM-5.3代码安全突出,Grok 4.6输出不完整。实测显示参数非关键,后训练和蒸馏可提升能力,开源模型依赖闭源蒸馏,快与准难以兼得。

Qwen GLM Grok Gemini四款实测:质量第一vs速度第一

极道 极道 · 2026-08-16T23:56:00Z
蒸馏《基层中国的运行逻辑》后,让 AI 帮你分析求学、考公、投资与创业

该项目将聂辉华《基层中国的运行逻辑》一书提炼为AI技能,用于分析县乡村治理框架,解释地方新闻、权力结构及求学、考公、投资等选择。它不含原书全文,但可针对具体问题(如招商动机、权力关系、区划调整影响)提供拆解。用户可下载至Cursor等工具使用,越具体提问越有效。

蒸馏《基层中国的运行逻辑》后,让 AI 帮你分析求学、考公、投资与创业

小众软件 小众软件 · 2026-08-13T08:46:22Z
Meta不再担心蒸馏问题,直接发布了整个流程

Meta发布开源模型Muse Glimmer,参数300亿,采用Apache 2.0许可,由Muse Spark蒸馏而来。此举区分了合法蒸馏与未经授权的提取,强调企业需管理教师模型、学生模型、量化层级及许可证等复杂链条。开源教师权重降低了第三方复制门槛,但完整复现仍需大量资源,未来供应商选择将偏向能持续维护两端模型的实验室。

Meta不再担心蒸馏问题,直接发布了整个流程

The New Stack The New Stack · 2026-08-12T13:00:00Z
加密推理链被蒸馏:OpenAI谷歌Anthropic全中招

该文讨论AI模型推理链被加密隐藏却仍可被提取的事件。用户付费获得token,但推理过程被加密视为商业机密,引发所有权争议。研究发现加密块可被重放至弱模型,泄露大量隐私凭证。网友批评厂商双标:训练时爬取数据不算偷,用户解密却算偷。技术漏洞暴露设计缺陷,加剧对AI黑箱的不信任,推动用户转向开源模型。

加密推理链被蒸馏:OpenAI谷歌Anthropic全中招

极道 极道 · 2026-08-12T06:04:00Z

SK海力士重启大连NAND二厂建设,并投资380亿美元扩产;索尼与台积电拟合资建图像传感器厂;英特尔扩大股票发行至200亿美元;字节跳动预训练10万亿参数AI模型;扎克伯格主张允许模型蒸馏;苹果支付负责人退休。

SK海力士拟重启大连NAND二厂建设;扎克伯格主张允许模型“蒸馏”;字节跳动预训练10万亿参数AI模型

全球TMT-美通国际 全球TMT-美通国际 · 2026-08-12T06:01:54Z

本文探讨大语言模型压缩的三种主要方法:量化、蒸馏和剪枝,它们分别作用于数值精度、训练目标和模型结构,因此不可直接比较。文章分析了GPTQ、AWQ、SmoothQuant等方法的假设差异,指出PPL指标在评估压缩效果时不可靠,且压缩可能损害推理能力、长上下文处理及安全行为,需根据具体应用场景谨慎选择压缩方法。

【Transformer 与注意力机制】51|量化、蒸馏、剪枝:压缩改变的是三种不同的东西

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-06T00:00:00Z
通过深度低秩残差蒸馏锁定预训练权重

本文提出DLR-Lock方法,通过将预训练MLP替换为深度低秩残差网络,利用自动微分的推理-训练不对称性,增加微调时的激活内存和计算开销,并造成架构不匹配,从而有效防御自适应攻击者修改权重,同时保持模型原有性能。实验验证了该方法的有效性。

通过深度低秩残差蒸馏锁定预训练权重

Apple Machine Learning Research Apple Machine Learning Research · 2026-08-06T00:00:00Z
萨姆·奥尔特曼谈模型蒸馏:“这不在我最担心的十件事之列”

萨姆·奥尔特曼在播客中讨论AI安全与未来,提到Hugging Face事件促使OpenAI重新思考模型安全,强调代理需外部认证以防逃逸。他看好廉价模型市场,不惧蒸馏竞争,认为规模比利润率更重要,开源模型仍有价值。他呼吁行业放慢开发以完善防护,并乐观表示AI将极大改善生活。

萨姆·奥尔特曼谈模型蒸馏:“这不在我最担心的十件事之列”

The New Stack The New Stack · 2026-07-28T18:15:57Z
后训练正成为真正前沿:Kimi K3九大专家蒸馏灌顶内幕

后训练正成为AI前沿,Kimi K3方案将其拆为三阶段:高质量SFT冷启动、单任务强化学习训练九大专家、多教师同策略蒸馏融合。系统用部分轨迹回滚处理长任务,分离能力发现与融合,使模型兼具多领域专长,决定实际战斗力上限。

后训练正成为真正前沿:Kimi K3九大专家蒸馏灌顶内幕

极道 极道 · 2026-07-28T09:43:00Z
美国开放模型的悖论

美国开放模型面临悖论:中国开源模型(如Qwen、Kimi)在西方AI初创公司中占比激增,成为训练和微调的基础,而西方前沿模型因法律限制无法直接用于蒸馏。这导致西方依赖中国模型,存在安全风险。文章建议建立合法通道,让西方公司通过受控访问前沿模型能力,同时加强对外国蒸馏的管控,以保持竞争力。

美国开放模型的悖论

Sequoia Capital US/Europe Sequoia Capital US/Europe · 2026-07-24T23:46:04Z
一分钟读论文:《Procedural Memory Distillation:Agent经验复用的程序性记忆蒸馏》

Semih Yavuz等人的研究提出了一种新方法,将过程性信号转化为可复用的程序性记忆,从而提升语言模型的性能。该方法通过三级抽象和协同进化,确保模型在推理时无需外部记忆模块,减少延迟并提高效率。实验结果表明,PMD在LIVECODEBENCH基准上相较于传统方法有显著提升,并在不同难度问题上表现一致。

一分钟读论文:《Procedural Memory Distillation:Agent经验复用的程序性记忆蒸馏》

Micropaper Micropaper · 2026-07-16T00:00:00Z
揭示政策蒸馏:它的优势、劣势及原因

本文探讨了政策蒸馏中教师模型的选择及其对学生模型的影响。研究表明,蒸馏指导在错误推理链上的对齐度高于理想信号,最佳蒸馏效果依赖于学生模型的能力和目标任务。提出了一种无训练的诊断框架,以提升蒸馏效果,并建议进行逐任务、逐标记的分析。

揭示政策蒸馏:它的优势、劣势及原因

Apple Machine Learning Research Apple Machine Learning Research · 2026-07-09T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码