Micropaper
·
一分钟读论文：《可复现性：AI治理的新前沿》
内容提要
AI研究面临可复现性危机，影响政策制定。论文指出，尽管AI论文数量迅速增长，但复现率较低。为确保有效治理，需提高可复现性标准，建议采取预注册、提供计算资源和报告负面结果等措施。
关键要点
-
AI研究面临可复现性危机，影响政策制定者的治理能力。
-
2019-2024年间，信息与计算机科学领域论文增长72%，是所有学科中最快的。
-
顶级经济学期刊中不到一半的论文能够被成功复现。
-
癌症生物学领域只有2%的研究有开放数据，0%有完整实验方案。
-
心理学领域只有36%的研究能够被成功复现。
-
历史案例警示：经济学研究存在数据缺失和计算错误，导致政策失误。
-
癌症生物学复现项目发现，只有50个实验能够被复现，造成巨大的经济和机会成本。
-
AI论文发表速度比其他领域快约50%，但代码分享仍不足。
-
ICML 2024的顶级论文中，只有24%能够被复现，博士生复现率不到50%。
-
缺乏可复现性标准可能导致行业参与者利用信息不对称进行监管捕获。
-
提出三大解决方案：预注册、提供开放计算资源、鼓励负面结果报告。
-
提高AI研究的可复现性标准是有效治理的核心，科学家和政策制定者需共同努力。
延伸解读
可复现性的重要性
可复现性是科学研究的基石，尤其在AI领域，低复现率可能导致政策失误。历史案例显示，经济学和癌症生物学的研究因数据缺失和计算错误而导致严重后果，提醒我们在AI研究中必须重视这一问题。
解决方案的必要性
论文提出的三大解决方案——预注册、开放计算资源和负面结果报告，旨在提高AI研究的透明度和可信度。这些措施不仅能增强研究的可复现性，还能帮助政策制定者更好地理解AI的局限性，从而制定更有效的政策。
行业风险与监管捕获
缺乏可复现性标准可能导致行业参与者利用信息不对称进行监管捕获，影响AI治理的公正性。政策制定者需警惕这一风险，确保在制定相关政策时，充分考虑可复现性对行业健康发展的影响。
延伸问答
AI研究的可复现性危机对政策制定有什么影响？
可复现性危机削弱了政策制定者的治理能力，导致政策失误和不当决策。
近年来AI论文的增长速度如何？
2019-2024年间，信息与计算机科学领域的论文增长了72%，是所有学科中最快的。
有哪些领域的研究复现率较低？
经济学、癌症生物学和心理学等领域的研究复现率普遍较低，尤其是癌症生物学只有2%的研究有开放数据。
论文中提到的历史案例对可复现性有什么警示？
历史案例显示，数据缺失和计算错误可能导致严重的政策失误，如经济学中的债务与增长关系被错误解读。
如何提高AI研究的可复现性？
建议采取预注册、提供开放计算资源和鼓励负面结果报告等措施来提高可复现性。
缺乏可复现性标准可能导致什么后果？
缺乏可复现性标准可能导致行业参与者利用信息不对称进行监管捕获，损害AI治理和民主制度。
