构建LLM辅助生物威胁创建的早期预警系统
内容提要
OpenAI用100名生物专家和学生测试GPT-4对生物威胁创建的助益。结果显示，联网加GPT-4仅带来轻微提升：专家准确度提高0.88分、学生0.25分（满分10），完整性也有小幅提升，但均无统计显著性。研究强调信息获取只是威胁创建的一环，需更多研究界定风险阈值。
延伸解读
研究设计的独特之处
该研究采用人类参与者实验，而非自动化基准测试，以模拟真实恶意行为者与模型的交互。100名参与者中，50名生物学专家和50名学生被随机分配到仅联网对照组或联网加GPT-4实验组。专家还使用了无拒绝的研究专用GPT-4，以充分激发模型能力。这种设计能更准确地评估模型在人类引导下的信息获取提升，但成本高昂且难以大规模重复。
结果解读：轻微提升与统计不显著
在10分制下，专家准确度平均提升0.88分，学生提升0.25分，完整性也有类似小幅提升，但均无统计显著性。这意味着观察到的差异可能由随机波动导致。然而，效应量在部分任务上中等偏大，且达到关注阈值（8/10）的人数有所增加，提示不能仅凭统计显著性否定潜在风险，需结合领域知识判断实际意义。
信息获取并非唯一瓶颈
研究发现，即使没有AI，互联网上已存在大量生物威胁创建的逐步方法和故障排除信息。但生物恐怖主义历史上罕见，表明湿实验室访问、专业知识等物理和技术因素才是主要瓶颈。因此，AI带来的信息获取提升可能不会直接转化为威胁创建成功，但若物理技术（如云实验室）更易获取，风险格局可能改变。
局限与未来方向
研究存在多项局限：样本量有限、任务时长较短、模型使用可选、评分标准可能无法完全反映实际威胁创建能力。此外，研究未测试物理构建威胁的成功率，且仅关注已知威胁的信息获取，未涉及AI增加新颖性的风险。未来需更多研究界定风险阈值，并开发更全面的评估方法，以应对AI生物安全风险。
Q&A
OpenAI如何评估GPT-4对生物威胁创建的辅助作用？
OpenAI开展了一项涉及100名参与者（50名生物学专家和50名学生）的研究，随机分为对照组（仅联网）和实验组（联网+GPT-4），完成五个生物威胁创建阶段的任务，并评估准确性、完整性等指标。
GPT-4在生物威胁创建任务中能带来多大提升？
研究发现，联网加GPT-4仅带来轻微提升：专家准确性平均提高0.88分（满分10），学生提高0.25分；完整性也有小幅提升，但均无统计显著性。
为什么信息获取只是生物威胁创建的一个环节？
文章指出，信息获取本身不足以创建生物威胁，因为生物恐怖主义历史上很少见，其他因素如获取湿实验室权限或专业知识才是更可能的瓶颈。
这项研究有哪些局限性？
局限性包括：实施限制（如成本高、样本量有限）和实验设计限制（如统计显著性的局限、模型使用可选性等）。此外，研究未测试实际物理构建威胁的成功率。
研究如何确保评估过程的安全性？
采取了多项措施：任务涉及不同生物制剂以防止信息危害；对参与者进行严格审查和培训；专家在安全场所接受监控；模型通过加密连接访问；并限制研究仅用GPT-4的访问。
这项研究对AI生物风险政策有何启示？
研究强调需要更多研究来界定风险阈值，并开发更有效的评估方法。OpenAI计划将学习成果用于其 preparedness 框架，并呼吁社区讨论和合作。
