内容提要
SSI公司由伊利亚创办,估值320亿美元,将推出首个模型,采用测试时训练技术,让AI在推理中实时学习并更新权重,实现“边干边学”。该技术旨在提升样本效率,减少算力依赖,但面临安全挑战。若成功,将颠覆现有AI范式,使静态模型过时。
延伸解读
测试时训练:从“记忆”到“学习”的范式转变
传统大模型在训练后参数冻结,推理时只能调用已有知识,无法从交互中学习。测试时训练(TTT)允许模型在推理过程中实时更新权重,实现“边干边学”。这一转变意味着模型不再依赖庞大的上下文窗口来“假装记忆”,而是真正从每次交互中学习并长期保留。若实现,将颠覆现有AI范式,使静态模型过时。
样本效率与算力需求:10万亿token的野心
SSI声称仅用约10万亿token预训练,即可让模型在真实世界中自主学习,相比当前头部模型的300万亿token大幅减少。这暗示其技术路线图强调“元学习”和样本效率,旨在降低对海量数据和算力的依赖。然而,SSI同时获得英伟达50亿美元投资和10倍算力扩容,表明新范式下的规模化训练可能才刚刚开始。
持续学习的安全风险:双刃剑效应
测试时训练使模型在交互中持续更新权重,但也带来安全挑战。恶意用户可能通过精心设计的对话序列“洗脑”模型,使其偏离安全对齐。传统模型的安全对齐在训练阶段一次性完成,而TTT模型需在每次推理和权重更新中持续生效。SSI已提出“安全感知梯度截断”算法,但持续学习系统的安全控制难度远超静态模型。
Q&A
SSI公司是什么?由谁创办?估值多少?
SSI(Safe Superintelligence)是一家AI实验室,由OpenAI前首席科学家伊利亚·苏茨克维于2024年创办,估值320亿美元,员工仅33人。
什么是测试时训练(TTT)?它和传统AI训练有何不同?
测试时训练(TTT)允许模型在处理请求时实时更新参数,即在推理过程中进行学习。传统AI训练分为训练和推理两个阶段,训练后参数冻结,推理时只能调用不能更新。TTT拆除了这堵墙,让AI在回答问题时边用边学。
SSI声称的样本效率是什么意思?
样本效率指用更少的数据训练出能快速学习新技能的模型。SSI的目标是打造一个“具备超级智能的15岁少年”,只需少量经验就能掌握新技能,其预训练数据量约为10万亿token,远低于当前头部模型的300万亿token。
SSI首个模型何时发布?消息来源是什么?
据传SSI首个模型将于2026年8月发布,消息来源是资产管理公司Atreides Management创始人加文·贝克在播客《Invest Like the Best》中的一句随口提及,并非官方公告。
测试时训练可能带来哪些安全风险?
持续学习可能被恶意用户利用,通过精心设计的对话让模型偏离安全对齐。传统模型的安全对齐在训练时一次性完成,而TTT模型需要在每次推理和权重更新中持续保证安全,难度更大。
SSI如何应对持续学习带来的安全挑战?
SSI在英伟达投资公告中提到了“安全感知梯度截断”算法,在梯度更新过程中实时裁剪可能威胁安全的方向,从架构层面进行针对性设计。
如果SSI成功,对AI行业有什么影响?
如果SSI的测试时训练成功,将带来范式转移:模型不再是训练完就定型的产品,而是部署后持续进化的生命体,训练和推理的界限被抹除,静态模型将过时。