Micropaper
·
可复现性：AI治理的新前沿
💡
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
AI研究面临可复现性危机，影响政策制定。论文指出，尽管AI论文数量迅速增长，但复现率较低。为确保有效治理，需提高可复现性标准，建议采取预注册、提供计算资源和报告负面结果等措施。
🎯
关键要点
- AI研究面临可复现性危机，影响政策制定者的治理能力。
- 2019-2024年间，信息与计算机科学领域论文增长72%，是所有学科中最快的。
- 顶级经济学期刊中不到一半的论文能够被成功复现。
- 癌症生物学领域只有2%的研究有开放数据，0%有完整实验方案。
- 心理学领域只有36%的研究能够被成功复现。
- 历史案例警示：经济学研究存在数据缺失和计算错误，导致政策失误。
- 癌症生物学复现项目发现，只有50个实验能够被复现，造成巨大的经济和机会成本。
- AI论文发表速度比其他领域快约50%，但代码分享仍不足。
- ICML 2024的顶级论文中，只有24%能够被复现，博士生复现率不到50%。
- 缺乏可复现性标准可能导致行业参与者利用信息不对称进行监管捕获。
- 提出三大解决方案：预注册、提供开放计算资源、鼓励负面结果报告。
- 提高AI研究的可复现性标准是有效治理的核心，科学家和政策制定者需共同努力。
➡️
