Nature观点，人工智能在医学中的测试一片混乱，应该怎么做？
内容提要
数百种医疗算法已获批，但测试和评估仍是挑战。医疗保健机构发现许多设备未经临床验证。测试方法包括自主测试和临床试验，但存在人类行为变化、资源匮乏和人群差异等挑战。如何向患者介绍技术并征求同意也是问题。机构正在寻找解决方案，如建立健康AI保障实验室网络和提供技术援助。
延伸解读
监管批准与临床验证的落差
文章指出，FDA等监管机构已批准数百种医疗AI设备，但许多设备并未经过严格的临床验证。例如，一项审查发现，在重症监护领域获批的十种设备中，仅三种引用了已发表数据，且无一包含偏见评估。这种落差意味着医院在采用这些工具时，不能仅依赖监管批准，而需自行评估其实际效果和安全性。
人类行为对AI成功的关键影响
医疗AI的效果不仅取决于算法精度，还取决于临床医生和患者的行为。文章提到，同一低血压预测算法在不同医院试验中结果迥异，原因在于医生是否遵循警报指示。此外，警报疲劳和医患沟通问题也可能导致AI工具失败。因此，测试AI时必须考虑人为因素，并设计相应的培训和沟通策略。
偏见与泛化能力的挑战
AI算法在训练数据之外的人群中可能表现不佳。文章举例，谷歌的糖尿病视网膜病变检测算法在泰国诊所因照明条件差而性能下降。类似地，资源匮乏环境中的数据差异也会影响AI效果。这提醒我们，临床试验参与者必须代表目标人群，且需在真实环境中验证工具的泛化能力。
患者同意与责任归属的难题
当AI工具直接面向患者（如让家长批准检查）时，知情同意和责任归属成为新问题。文章提到，SickKids团队正在与法律专家和监管机构合作，探索如何获得可靠且真实的同意。目前，大多数医疗AI工具并未要求披露使用情况，患者可能不知情。这凸显了在AI应用中建立透明同意机制的必要性。
Q&A
医疗AI系统的测试面临哪些主要挑战？
医疗AI系统的测试面临人类行为变化、资源匮乏和人群差异等挑战。
为什么许多获批的医疗AI设备缺乏临床验证？
许多获批的医疗AI设备没有经过临床验证，因为监管机构的批准标准相对宽松，只有少数高风险设备需要临床试验数据。
医院如何自行测试AI设备以确保有效性？
一些医院选择自行测试AI设备，通过内部临床试验来验证其有效性，尤其是在缺乏临床验证的情况下。
患者同意在医疗AI应用中为何重要？
患者同意在医疗AI应用中重要，因为许多技术在使用时需要患者的知情同意，确保患者了解技术的使用和潜在风险。
如何解决医疗AI测试中的偏见问题？
解决医疗AI测试中的偏见问题需要确保临床试验参与者代表将要使用的患者群体，以便安全推断结果。
医疗机构如何应对AI技术的快速发展？
医疗机构正在探索建立健康AI保障实验室网络，以集中评估模型并提供技术援助，确保AI技术的有效性和安全性。
