当题库追不上模型,AI开始给自己出题:中国这支团队跑通了数据层RSI

当题库追不上模型,AI开始给自己出题:中国这支团队跑通了数据层RSI

💡 原文中文,约4600字,阅读约需11分钟。
📝

内容提要

中国团队发布BigBang-V1,这是首个基于递归自我改进训练的基座模型,拥有35B参数,其后训练数据完全由AI合成。该模型在科研、代码等评测中表现优异,甚至超越更大规模的模型。其核心在于自演化数据管线,通过生成与批判Agent的协作,结合内外循环机制,实现数据与模型的共同进化,推动AI的自我迭代。

🔎

延伸解读

数据层RSI:从“收集数据”到“进化数据系统”

文章指出,多数RSI尝试停留在工具调用或固定规则筛选,未触及训练管线本身。BigBang-V1的关键在于将数据生产系统作为优化对象,通过生成与批判Agent的内循环,以及真实训练结果驱动的外循环,让数据生成策略随模型能力共同进化。这种“数据层RSI”打破了静态题库的局限,使合成数据能持续保持前沿性和可验证性,避免模型变强后数据迅速贬值。

合成数据“坍缩”风险的应对机制

纯AI合成数据常面临“坍缩”风险,即错误答案被当作正确答案回喂训练。BigBang-V1通过可验证任务和验证链兜底,确保错误答案不会被误用。同时,外循环用真实训练结果校准Critic,防止Generator迎合Critic产生表面高分但无迁移价值的数据。这种内外双循环机制,是其在100%合成数据下仍能超越更大规模模型的关键保障。

人类角色的重新定位:定义方向而非逐题出题

文章强调,尽管数据生产由AI主导,人类并未退出研发。研发目标、资源预算、风险边界和最终验收标准仍由人类定义,AI不能自行修改评测标准或仅凭Critic高分就批准方案。这体现了训练数据生产关系的重新分工:人类负责方向和有效进步的定义,AI负责大规模探索与执行。这种协作模式或将成为未来AI研发的主流范式。

Q&A

BigBang-V1是什么?它有什么特点?

BigBang-V1是由无尽前沿团队(上海交大人工智能学院、深势科技、上海算法创新研究院)发布的首个基于递归自我改进(RSI)原生方式训练的基座模型,参数规模35B,推理时激活约3B参数,支持262K长上下文。其后训练数据100%由AI自主合成,以科学前沿任务为核心,在长程搜索、代码、科学研究等评测中表现优异。

BigBang-V1在哪些评测中表现突出?

BigBang-V1在长程搜索、代码、科学研究、AI研究等评测中拿下全部35B模型里的10项第一,在FrontierScience Research、PaperBench等多项高难度科研任务上甚至超过了1T级的DeepSeek V4 Pro Preview。

BigBang-V1的训练数据是如何生成的?

BigBang-V1的后训练数据100%由AI自主合成,通过自演化合成数据管线生成。该管线由Generator Agent和Critic Agent两类Agent协作,Generator负责提出并解决高难度任务,Critic负责审查数据质量,通过内外双循环机制实现数据与模型的共同进化。

什么是递归自我改进(Recursive Self-Improving)?

递归自我改进是指让AI参与迭代自身的模型、算法、数据和研发流程,使AI能够持续自我改进并构建更强的AI。这个概念在硅谷非常火热,Jeff Dean、David Silver等顶级AI研究者都在探索这一方向。

BigBang-V1如何解决高质量训练数据不足的问题?

BigBang-V1通过自演化数据管线,让AI直接参与任务构造、求解、验证、筛选以及下一轮数据生产策略的优化。系统采用可验证的前沿任务作为数据来源,通过Generator和Critic Agent的对抗协作,以及内外双循环机制,持续生成高质量自演进合成数据,无需人类逐题参与。

BigBang-V1在具体任务中表现如何?

BigBang-V1在具体任务中展现出强大的能力。例如,在转座子定位任务中,它利用连接证据进行约束映射,准确定位断点;在论文复现任务中,它能自我纠错,发现并修复实现中的问题,最终复现评分0.7657。此外,在长程搜索和代码生成任务中也有出色表现。

BigBang-V1的训练数据为什么不会坍缩?

BigBang-V1通过内外双循环机制打破合成数据坍缩的魔咒。内循环中Generator和Critic对抗协作,外循环用真实训练结果反向校准Critic,确保数据质量。验证链一直兜底,错误的答案不会被当成正确答案继续喂回训练,因此数据不会坍缩。

BigBang-V1的团队背景是什么?

BigBang-V1由无尽前沿团队发布,该团队由上海交大人工智能学院、深势科技、上海算法创新研究院组成。核心成员包括上海交大副教授陈思衡、助理教授张林峰,以及深势科技创始人张林峰和中国科学院院士鄂维南。团队结合学术与产业,致力于实现开放式通用智能。

🏷️

标签

➡️

继续阅读