AI助力研究人员调查数千项医学研究如何共享代码

AI助力研究人员调查数千项医学研究如何共享代码

💡 原文英文,约1300词,阅读约需5分钟。
📝

内容提要

MIT与丹娜—法伯癌症研究所团队用大语言模型审查近4000篇临床预测模型研究及相关代码库,发现两大缺口:共享代码仍不普遍(约八分之一研究报告共享),且公开代码未必附带可复用的文档与支持信息。共享做法在期刊和国家间差异很大,部分期刊虽有政策但共享率仍低。研究还发现合成数据集等良好实践,成果正用于制定TRIPOD-Code报告指南,明确应共享哪些代码要素。

🔎

延伸解读

代码共享率低,期刊政策效果有限

研究显示,仅约八分之一的研究报告共享了代码。更值得注意的是,部分期刊虽有书面共享政策,共享率仍偏低,说明单靠政策难以推动共享。期刊间共享比例从零到超过70%不等,差异显著。这提示读者,评估研究可复现性时,不能仅看期刊是否要求共享,还需实际检查代码是否公开。

公开代码不等于可复用

即使代码公开,其文档完整性和支持信息也参差不齐。有的仓库组织良好、文档齐全,有的几乎无使用说明。研究强调,好的共享应提供足够信息以理解代码功能并运行复现结果。因此,读者在复用他人代码时,需关注文档、软件依赖和复用条款等要素,而非仅看链接是否存在。

LLM辅助审查的方法与局限

团队利用大语言模型处理论文中非结构化的代码可用性陈述,并提取链接,再评估仓库特征。人工复核500篇论文和部分仓库,在许可证文件等具体特征上一致性较高,但对文档充分性的判断一致性较弱。作者强调分类错误仍可能存在,因此应关注整体趋势而非精确计数。这提醒读者,AI辅助审查结果宜作为参考,不宜过度解读单个数字。

TRIPOD-Code指南的实践意义

该研究结果正用于制定TRIPOD-Code报告指南,旨在明确共享分析代码时应包含哪些必要要素。由于临床预测研究涉及医学、统计学和计算机科学等不同背景,对代码文档和共享的期望存在差异。指南有望为研究者提供实操指导,并帮助期刊向作者传达更清晰的期望。读者可关注该指南后续进展,以评估研究代码共享的规范性。

❓

Q&A

MIT和丹娜—法伯团队用大语言模型做了什么研究?

他们用大语言模型审查了近4000篇临床预测模型研究论文,并追踪评估了数百个相关代码库,以了解医学研究中代码共享的现状。

医学研究代码共享存在哪些主要问题?

主要存在两大缺口:一是代码共享仍不普遍,仅约八分之一的研究报告共享了代码;二是即使公开代码,也未必附带可复用的文档和支持信息,导致代码难以被理解和重用。

为什么仅公开代码还不够?

因为代码需要足够的结构化和描述才能被理解和复用。研究显示,有些代码库组织良好、文档齐全,而另一些几乎没有任何指导信息。良好的共享应提供足够信息,让人理解代码功能并能运行以复现论文结果。

不同期刊和国家在代码共享上有什么差异?

共享做法在期刊和国家间差异很大。期刊的共享比例从0到超过70%不等。部分期刊虽有书面代码共享政策,但共享率仍然很低,说明仅靠政策可能不足以激励共享。

研究中发现了哪些值得推广的良好实践?

例如,一些研究者在无法公开原始患者记录时,提供了合成数据集来帮助代码复用。

TRIPOD-Code是什么?它要解决什么问题?

TRIPOD-Code是一项正在制定的报告指南,基于TRIPOD和TRIPOD+AI,旨在明确研究人员应共享哪些代码要素,为研究者提供实用指导,并给期刊更清晰的期望。

大语言模型在这项研究中发挥了什么作用?

大语言模型帮助处理分散在论文和代码库中的非结构化文本信息,用于筛选论文、识别代码可用性声明并提取链接,使团队能在大规模研究中更细致地分析代码共享情况。

🏷️

标签

➡️

继续阅读