内容提要
独立研究者用大模型仅凭查询审计临床黑盒模型:在卒中数据的24个植入缺陷模型中检出69/72,与手写脚本持平;代理模型保真度R²为0.976,略优于手工方法;但新知识仅11%成立,不及回归扫描;报出的1132个问题中60%未通过核验,不过多为量小而非虚构。结论是大模型宜用于提出假设,由程序核验、人工复核,不宜让其独自签字。
延伸解读
“检出缺陷”与“报出问题”是两回事
文章显示,大模型在72次盲测中检出69个植入缺陷,看似很强;但同一批运行报出的1132个问题里,60%未通过预设核验。事后分类表明,多数未过核验的问题并非凭空捏造,而是影响量小或只对少数病人成立。读者应区分“发现异常”和“确认缺陷”:前者可作线索,后者需程序核验。
代理模型保真度高,不等于临床更准
大模型生成的代理模型平均R²为0.976,略高于手工代理的0.959,说明它更能复现黑盒模型的输出。但文章明确提醒,R²衡量的是替身贴合黑盒输出的程度,不是临床准确度;被审模型的C统计量在0.789~0.794。保真度高只意味着解释更贴近原模型行为,不能直接推导出临床价值更高。
新知识生成能力被高估
从干净模型读出的601条“未列入已知因子清单”的关系,在更晚分组病人测试集上仅68条成立,占11%,低于回归扫描短清单的28%。经训练集核验后,大模型33%对扫描30%,预期领先并未兑现。这说明大模型更适合提出假设,其“新发现”需独立数据验证,不宜直接当作新知识使用。
落地边界:提假设、程序核验、人复核
研究基于单模型、单数据集、未评审预印本,对照脚本由知道缺陷类型的人编写,植入缺陷也偏大,不能外推到真实世界的小缺陷。作者因此主张:让大模型提出假设,由程序核验,再由人复核,而不是让大模型独自签字。读者应把结论视为有限条件下的证据,关注其开源代码与回复以便复现。
Q&A
大模型审计临床黑盒模型时,在缺陷检出上的表现如何?
在72次盲测中检出69个植入缺陷(96%),与专门手写脚本(24个全检出)打平,但脚本作者知道缺陷类型,不能说明盲态下脚本的表现。
大模型生成的代理模型保真度比手工方法好吗?
是的,大模型代理模型复现被审模型log-odds的平均R²为0.976,略高于手工拟合的42项加法代理的0.959,32个模型中28个大模型更忠实。
大模型在审计中能发现新知识吗?
新知识生成能力有限:从干净模型读出的601条关系,在测试集上仅68条成立(11%),不及回归扫描的28%,随机配对也有6%。
大模型审计报告的问题有多少是误报?
共报出1132个问题,可核验的1089条中60%未通过核验(影响未超阈值0.25),但其中63%确实存在只是量小,15%查无此事,并非全是虚构。
这项研究有哪些局限性?
局限包括:单模型单数据集、未评审预印本、独立研究者而非临床团队、对照脚本由知道缺陷类型的人编写、植入缺陷偏大不能外推到真实世界小缺陷。
根据这项研究,大模型在临床模型审计中应该怎么用?
建议让大模型提出假设,由程序核验、人工复核,而不是让大模型独自签字。