「史上最严」湿实验预测基准发布！推理拉满、算力翻5倍也白搭
内容提要
UniPat AI联合斯坦福、哈佛等机构推出湿实验预测基准SPU，包含116个任务、4207个实验，覆盖化学、材料、生物、医学领域。模型需在8小时内自主检索、计算并预测实验结果排序。首轮评测12款前沿模型，最高分仅0.486，约半数任务超过随机水平。研究还发现，提高推理强度或增加工具调用未必提升成绩，关键在于选对判断依据并将算力用于相关物理量。
延伸解读
湿实验预测：AI科研能力的试金石
SPU基准将AI的科研判断力转化为可量化分数，要求模型在8小时内自主检索、计算并预测湿实验结果排序。首轮评测最高分仅0.486，约半数任务超过随机水平，说明当前模型距离可靠预测仍有明显差距。这一设计把过去依赖科学家直觉的“品味”变成可评估指标，为AI4S提供了统一标尺。
推理强度与工具调用：多不一定好
评测发现，将GPT-6 Astra推理强度调至最高，运行时间中位数增至4.8倍、API成本增至5.3倍，但得分几乎不变。工具使用上，Max配置每次运行方法类别中位数为4类，Medium仅1类，成绩仍无显著差异。关键不在投入多少算力或工具，而在于是否将资源用于与最终排序相关的物理量。
判断依据的选择决定预测成败
在溶液任务中，Opus 5.5得分0.874，Qwen3.8为-0.126。分析发现，Qwen3.8主要依据溶剂对乙烯的溶解能力排序，而Opus 5.5更关注原料混溶情况及催化剂相容性。尽管Qwen3.8在计算中也发现了问题，但未能调整最终排序依据。预测出错最可能发生在选择判断依据这一步，模型需学会根据线索即时修正排序方式。
学科与测量目标：模型表现差异显著
公开任务中，化学平均分最高为Opus 5.5，材料科学为Fable 5.1，生物学为GPT-6 Astra Medium，医学为Opus 5。私有任务里，同一批电解液预测离子电导率时，13个配置的相关系数集中在0.89～0.95；换成电化学窗口，得分降至-0.55～0.07，均未超过随机水平。评价模型不能只说“擅长化学”，还需看具体测量目标与实验条件。
Q&A
SPU基准测试是什么？它主要评估AI的什么能力？
SPU（Science Prediction Universe）是由UniPat AI联合斯坦福、哈佛等机构推出的湿实验预测基准，包含116个任务、4207个实验，覆盖化学、材料、生物和医学领域。它要求AI在8小时内自主检索、计算并预测实验结果排序，重点评估AI的湿实验预测能力，即根据实验条件预测真实实验结果排序的能力。
SPU基准的任务来源和设计有什么特点？
SPU包含100个公开任务（取自85篇近期论文）和16个私有任务（来自未发表合作实验），共32个子领域。任务筛选时优先选择测量完整、条件清楚的研究，剔除简单趋势或数值接近的问题。评分采用Spearman相关系数，并生成4000份随机排序作为随机水平阈值，以排除运气因素。
首轮评测中前沿模型的表现如何？最高分是多少？
首轮评测覆盖12款前沿模型、13种配置。平均分最高的是Claude Opus 5.5，仅0.486分，且只有约一半任务超过随机水平。所有配置超过随机水平的任务比例仅为34%～52%，表明当前模型距离可靠的湿实验预测还有很大差距。
为什么提高推理强度或增加工具调用不一定能提升预测成绩？
研究发现，将GPT-6 Astra的推理强度调到最高后，运行时间中位数增至4.8倍、API成本增至5.3倍，但预测得分几乎不变。模型通常在运行到中位26%时已给出答案，后续计算只是微调。工具使用类似：GPT-6 Astra Max使用的方法类别中位数为4类，Medium为1类，但得分无显著差别。关键在于将算力用于与排序相关的物理量，而非盲目增加投入。
模型预测出错的主要原因是什么？
预测出错最可能发生在选择判断依据的步骤。例如在溶液任务中，Qwen3.8主要依据溶剂对乙烯的溶解能力排序，而Opus 5.5更关注原料混溶性和催化剂相容性，导致前者得分-0.126，后者0.874。模型即使中途发现线索，也未能及时调整排序依据。因此，模型需要学会根据线索即时调整判断依据。
SPU对AI for Science研究有什么实际意义？
SPU将湿实验预测这一难以量化的科研步骤变得可衡量，帮助研究者分析哪些测量目标更易预测、错误判断如何形成，从而节约实验资源、缩短决策时间。对模型开发而言，它提供了具体改进参照，可指导模型更及时发现错误假设并调整排序。此外，SPU还提供了预测表现与API成本（0.22至65.91美元/次）的对比，便于团队部署参考。
