全新生物学基准数据集LAB-Bench震撼开源！覆盖8大任务，超2.4K选择题
内容提要
大语言模型在科研领域应用普及，但缺乏对其在实际科学任务中性能的评估。FutureHouse Inc.推出语言Agent生物学基准数据集，用于评估AI系统在生物学研究中的表现。研究人员发现不同模型在不同任务中表现差异大，尤其在信息检索任务中存在问题。模型在处理DNA和蛋白质序列的任务上表现不佳，人类表现优于模型。
延伸解读
评估重点：从教科书问答转向真实科研任务
LAB-Bench 的独特之处在于它不满足于评估模型对教科书式科学问题的知识记忆，而是模拟文献检索、方案规划、数据分析等实际科研环节。例如，LitQA2 要求模型从科学文献中检索仅出现一次且无法通过摘要回答的信息，这直接挑战了模型在真实研究中的信息获取与推理能力。这种设计更贴近科研工作的复杂性，也更能暴露模型在灵活性、专业性上的不足。
模型表现分化：信息检索与序列处理是短板
文章显示，不同模型在 LAB-Bench 各任务上表现差异显著。在 LitQA2 中，主流模型常因信息不足而拒绝回答，导致准确率低于随机水平；在 SuppQA 和 DbQA 中，模型覆盖率低，说明它们难以有效检索补充材料或访问多种数据库。SeqQA 任务中，模型精确率仅在 40%-50% 之间，处理 DNA 和蛋白质序列（尤其是子序列或长序列）时表现不佳。这些短板提示，当前模型在需要主动检索和序列推理的科研任务中仍不可靠。
人类优势明显：复杂多步任务仍是模型瓶颈
在克隆场景测试中，模型表现远低于人类，即使答对也可能靠排除干扰项猜测。ProtocolQA 中模型精确率集中在 50-60%，而 FigQA 和 TableQA 中 Claude 3.5 Sonnet 表现突出，甚至在某些指标上超过人类。这表明模型在基本推理和多模态解读上已有进步，但在需要多步骤规划、整合多种信息的复杂科研任务上，人类仍具有明显优势。
基准意义与局限：程序化评估的未来方向
LAB-Bench 是首个专注于评估模型科学研究能力的基准数据集，其针对复杂任务的程序化评估方法被通讯作者视为未来重要方向。然而，文章也指出模型在信息检索任务中频繁拒绝回答，且补充材料在训练集中代表性不足，这提示基准本身可能受限于数据覆盖。读者应关注该基准如何推动模型改进，同时注意其评估范围仍以选择题为主，未必完全反映开放式科研能力。
Q&A
LAB-Bench数据集的主要用途是什么？
LAB-Bench数据集用于评估AI系统在生物学研究中的表现，特别是在文献检索和推理等实际任务中的能力。
不同模型在LAB-Bench测试中的表现如何？
不同模型在LAB-Bench测试中的表现差异显著，尤其在信息检索任务中，许多模型拒绝回答的比例较高，准确性低于随机预期。
LAB-Bench数据集中包含哪些任务？
LAB-Bench数据集包含文献检索、推理、图形解释、表格解释、数据库访问、撰写协议、DNA和蛋白质序列理解等任务。
在SeqQA任务中，模型的表现如何？
在SeqQA任务中，模型的精确率在40%-50%之间，表明其对DNA和蛋白质序列的解释能力较强。
LAB-Bench数据集的创新之处是什么？
LAB-Bench是第一个专注于评估模型在科学研究能力的基准数据集，采用了针对复杂任务的程序化评估方法。
在克隆场景测试中，模型的表现如何？
在克隆场景测试中，模型的表现远低于人类，且即使模型回答正确，通常也是通过排除干扰项得出的。
