科研党狂喜！AI预测神经学研究结论超过人类专家水平 | Nature子刊
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
研究显示，经过训练的语言模型（LLM）在神经科学预测中的准确率达到81.4%，超过人类专家的63%。新基准BrainBench评估了LLM在多个神经学子领域的表现，尤其在行为认知方面表现突出。尽管LLM的预测能力强，部分研究者仍质疑其在科研中的重要性，认为实验和解释更为关键。
🔎
延伸解读
LLM在神经科学中的应用前景
随着LLM在神经科学预测中表现出色，未来可能会在科研中扮演更重要的角色。研究者可以利用LLM进行初步的研究想法筛选，帮助识别潜在的研究方向和方法问题。这种辅助作用可能会提高科研效率，尤其是在探索阶段。
对LLM的质疑与局限性
尽管LLM的预测能力令人印象深刻，但部分研究者对其在科研中的重要性表示怀疑。他们认为实验和解释才是科研的核心，LLM的预测不能替代实际实验。此外，当前的测试方法可能过于简单，未能涵盖复杂的科研情境，这需要在未来的研究中加以改进。
模型性能的比较
研究表明，较小的模型如Llama2-7B和Mistral-7B在神经科学预测中表现与较大模型相当。这一发现提示科研人员在选择模型时，不必仅依赖于模型的大小，可能更应关注模型的具体应用场景和任务需求。
❓
Q&A
LLM在神经科学预测中的准确率是多少？
LLM在神经科学预测中的准确率达到81.4%。
BrainBench基准测试的主要目的是什么？
BrainBench基准测试旨在评估LLM在预测神经科学结果方面的能力。
LLM在神经科学的哪些子领域表现突出？
LLM在行为/认知和系统/回路等子领域表现突出。
人类专家的预测准确率在什么条件下提高？
当限制人类响应为自我报告专业知识的最高20%时，准确率提高到66.2%。
研究者对LLM在科研中的重要性有何看法？
部分研究者质疑LLM在科研中的重要性，认为实验和解释更为关键。
LLM是否记忆了BrainBench项目的数据？
研究表明LLM没有记忆BrainBench项目，而是学习了广泛的科学模式。
🏷️
