小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
一分钟读论文:《Procedural Memory Distillation:Agent经验复用的程序性记忆蒸馏》

Semih Yavuz等人的研究提出了一种新方法,将过程性信号转化为可复用的程序性记忆,从而提升语言模型的性能。该方法通过三级抽象和协同进化,确保模型在推理时无需外部记忆模块,减少延迟并提高效率。实验结果表明,PMD在LIVECODEBENCH基准上相较于传统方法有显著提升,并在不同难度问题上表现一致。

一分钟读论文:《Procedural Memory Distillation:Agent经验复用的程序性记忆蒸馏》

Micropaper
Micropaper · 2026-07-16T00:00:00Z
揭示政策蒸馏:它的优势、劣势及原因

本文探讨了政策蒸馏中教师模型的选择及其对学生模型的影响。研究表明,蒸馏指导在错误推理链上的对齐度高于理想信号,最佳蒸馏效果依赖于学生模型的能力和目标任务。提出了一种无训练的诊断框架,以提升蒸馏效果,并建议进行逐任务、逐标记的分析。

揭示政策蒸馏:它的优势、劣势及原因

Apple Machine Learning Research
Apple Machine Learning Research · 2026-07-09T00:00:00Z
2026年蒸馏技术三大流派全解析:离线硬学/在线讨教/自我顿悟

2026年,AI领域的蒸馏技术成为热点,主要有离线硬学、在线讨教和自我顿悟三种流派。蒸馏技术通过让小模型模仿大模型的输出,实现性能与效率的平衡。新玩法包括多个专家共同指导一个学生模型,以及模型自我教导,提升学习效果。这些技术在开源社区逐渐普及,成为AI训练的重要手段。

2026年蒸馏技术三大流派全解析:离线硬学/在线讨教/自我顿悟

极道
极道 · 2026-07-08T23:37:00Z
蒸馏攻击大模型之争:到底谁偷了谁的代码和技术秘密

美国AI公司指责中国公司进行“蒸馏攻击”,声称其技术被盗用。网友指出美国公司也使用类似技术,质疑其指控的合理性。这场争论反映了商业竞争的本质,因中国模型成本低、性能优,威胁到美国公司的市场地位。

蒸馏攻击大模型之争:到底谁偷了谁的代码和技术秘密

极道
极道 · 2026-06-30T03:47:00Z
24小时蒸馏最强AI:Claude Fable 5越狱事件全记录

Claude Fable 5在发布24小时内被成功越狱,安全系统被揭示为脆弱。越狱者Pliny利用多代理系统和巧妙策略绕过安全措施,泄露了内部提示词,导致模型下线。这一事件突显了安全设计的漏洞和模型蒸馏的潜在威胁,强调了AI行业对抗与进化的重要性。

24小时蒸馏最强AI:Claude Fable 5越狱事件全记录

极道
极道 · 2026-06-29T23:23:00Z
Anthropic指控阿里巴巴发动Claude模型大规模蒸馏攻击

Anthropic指控阿里巴巴通过2.5万个假账号进行“模型蒸馏攻击”,在六周内发起2880万次交互,窃取其Claude模型能力。这一事件引发了关于AI技术、知识产权和大国竞争的讨论。尽管Anthropic控诉阿里,但其自身也曾因使用盗版数据训练模型而面临法律问题,显示出行业内的双标现象。美国政府介入后,Anthropic的模型被禁,反映出技术与政治的复杂关系。

Anthropic指控阿里巴巴发动Claude模型大规模蒸馏攻击

极道
极道 · 2026-06-25T02:38:00Z
小扎「蒸馏员工」计划紧急喊停!私聊数据都泄露了…

Meta的“蒸馏员工”计划因私聊数据泄露而被紧急停止。该计划旨在优化员工管理,但因数据安全问题引发关注,暴露了Meta在处理内部信息时的脆弱性。

小扎「蒸馏员工」计划紧急喊停!私聊数据都泄露了…

mongona news
mongona news · 2026-06-23T00:33:00Z
小扎「蒸馏员工」计划紧急喊停!私聊数据都泄露了…

Meta因监控员工操作数据导致隐私泄露,内部士气低落。项目MCI因敏感数据全员可见而暂停,CTO承认未达隐私标准。员工对公司失去信心,Meta尝试恢复福利以稳定士气,但问题依然严重。

小扎「蒸馏员工」计划紧急喊停!私聊数据都泄露了…

量子位
量子位 · 2026-06-23T00:33:00Z
开源Qwable-v1全面解析:自称蒸馏自最强Claude Fable 5模型

开源模型Qwable-v1声称源自Claude Fable-5的蒸馏,训练时间仅14小时。社区反应不一,有人指出其技术缺陷明显,缺乏基准测试数据,推理能力不及原模型,蒸馏过程可能仅复制了风格,未能有效迁移能力。这一事件反映了开源AI社区的浮躁与质量焦虑。

开源Qwable-v1全面解析:自称蒸馏自最强Claude Fable 5模型

极道
极道 · 2026-06-21T02:47:00Z
Fable 5自带反蒸馏机制!检测到就降智,误触率高到离谱

Anthropic发布的新模型Fable 5引发用户不满,因其安全检测机制频繁切换至旧模型Opus 4.8,影响使用体验。尽管Fable 5能力强大,但在高风险场景下自动降低回答质量,用户对此感到困惑。模型厂商应告知用户能力变化,以免影响学术研究和技术交流。

Fable 5自带反蒸馏机制!检测到就降智,误触率高到离谱

量子位
量子位 · 2026-06-11T04:16:20Z
高德发布ABot-Earth0.5:跨越2D蒸馏模式,以3D原生驱动高一致性场景生成

阿里巴巴旗下的高德发布了全球首个基于3D数据训练的城市模型ABot-Earth0.5。该模型通过直接使用3D数据,实现了城市场景生成效率提升约1000倍,并在数据处理和推理机制上进行了创新,确保生成内容与真实环境一致。用户可以通过卫星图或文字快速生成3D城市,并导入主流引擎使用。

高德发布ABot-Earth0.5:跨越2D蒸馏模式,以3D原生驱动高一致性场景生成

量子位
量子位 · 2026-06-08T09:00:20Z
认知难题:Opus 4.8为何自称是千问?与蒸馏无关 中转站演双簧

Opus 4.8自称千问,实际上是中转站API的假冒身份。中转站通过伪造回答来节省成本,导致用户无法确认模型的真实身份。这一事件揭示了AI模型调用中的混乱与不透明,用户难以辨别真假,甚至可能与多个代理对话。

认知难题:Opus 4.8为何自称是千问?与蒸馏无关 中转站演双簧

极道
极道 · 2026-05-29T12:53:00Z
蒸馏 Google 工程基因:把高级工程师的判断力编码给 AI Agent

Addy Osmani 提出了将高级工程师判断力编码为 AI Agent 的方法,称为 agent-skills。该方法通过结构化工作流和明确的检查点,确保 AI 在编程时遵循关键步骤,如编写规范和测试,从而提高执行质量,避免忽视正确性。

蒸馏 Google 工程基因:把高级工程师的判断力编码给 AI Agent

乱世浮生
乱世浮生 · 2026-05-09T08:05:15Z
一文通透Qwen3-VL——在交错式MRoPE、DeepStack、文本时间戳对齐机制的基础上,先预训练,再后训练(即分别SFT、蒸馏、RL)

Qwen系列模型最新升级为Qwen3-VL,在视觉理解和视频处理方面有显著提升。引入多维旋转位置编码(MRoPE)和DeepStack技术,增强了对复杂场景的推理能力,支持长文档和长视频处理,具备更高的上下文长度和精确的时间定位能力,推动多模态理解的进步。

一文通透Qwen3-VL——在交错式MRoPE、DeepStack、文本时间戳对齐机制的基础上,先预训练,再后训练(即分别SFT、蒸馏、RL)

结构之法 算法之道
结构之法 算法之道 · 2026-05-08T07:57:45Z

马斯克在法庭上承认其公司xAI蒸馏了OpenAI的模型,引发对AI行业竞争规则的讨论。法官质疑马斯克的动机,指出他一边担忧AI风险,一边创办AI公司。案件结果可能影响AI行业的未来,蒸馏技术的合法性和慈善信托的转型问题将被重新审视。

马斯克当庭承认蒸馏ChatGPT,AI行业最大的遮羞布被扯掉了

dotNET跨平台
dotNET跨平台 · 2026-05-06T00:01:13Z
一分钟读论文:《把百亿模型装进手机:TIDE实现扩散语言模型跨架构蒸馏》

北京大学和浙江大学的研究者提出了TIDE框架,实现了扩散语言模型的跨架构蒸馏,将16B MoE教师模型压缩至0.6B学生模型,提升了代码生成任务的性能和推理速度,并显著降低了内存需求。TIDE通过双轴调度、上下文增强和跨分词器匹配等技术,解决了蒸馏过程中的关键挑战,使得dLLM在消费级硬件上部署成为可能。

一分钟读论文:《把百亿模型装进手机:TIDE实现扩散语言模型跨架构蒸馏》

Micropaper
Micropaper · 2026-05-03T00:00:00Z

本文讨论了大语言模型(LLM)的训练过程,包括初始预训练、继续预训练、监督微调、对齐训练和蒸馏等阶段,重点在于通过不同阶段的训练提升模型能力,特别是在特定领域的应用。蒸馏作为一种压缩模型的方法,旨在降低计算成本的同时保留重要能力。文章还强调了数据质量、任务覆盖和不同阶段的算力需求的重要性。

大预言模型的基石:Transformer 入坑笔记(一) - 大模型训练链路

I'm OWenT
I'm OWenT · 2026-04-30T20:45:45Z

大模型训练应视为流水线,分为数据工程、预训练、中训、微调和对齐等阶段。每个环节有不同的算力需求和挑战,数据质量至关重要。预训练需处理大量干净数据以确保模型稳定性,中训通过调整数据配比提升能力,微调教会模型理解指令,对齐阶段则使用多种算法优化模型表现。整体训练过程复杂,需关注数据、算力和工程细节。

【大模型基础设施工程】05:训练全景:Pre-train、SFT、RLHF、DPO、蒸馏

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
在线教程丨Qwen3.5 27B蒸馏Claude 4.6 Opus推理能力,兼顾高质量输出与低门槛部署

近年来,大模型在推理能力和效率上不断进步。Jackrong于2026年3月开源了高性能推理模型Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled,该模型结合了先进的推理能力,显著提升了复杂问题的解决能力,支持流式对话生成,适用于科研、编程和教育等领域,提供个性化的智能对话支持。

在线教程丨Qwen3.5 27B蒸馏Claude 4.6 Opus推理能力,兼顾高质量输出与低门槛部署

HyperAI超神经
HyperAI超神经 · 2026-04-03T07:16:39Z
AI 数学推理新纪元:SAIR Foundation 正式启动“数学蒸馏挑战赛”

SAIR Foundation于2026年3月14日启动“数学蒸馏挑战赛”,旨在突破AI逻辑瓶颈,提升机器推理能力。比赛提供2200万道代数题,参赛者需编写压缩的“策略指南”以提高弱模型的准确率,分为两个阶段,欢迎全球学者和爱好者参与。

AI 数学推理新纪元:SAIR Foundation 正式启动“数学蒸馏挑战赛”

量子位
量子位 · 2026-03-14T12:45:52Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码