BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 -

个人化医学中的新兴挑战:评估人口统计学特征对生物医学问答系统的影响

在生物医学领域中,最先进的问答(QA)模型表现出各种社会偏见(如性别或种族),其训练数据中存在类似问题对此进行了解释。然而,迄今为止被忽视的是,在生物医学的关键领域中,由于患者人口统计信息而导致模型输出不合理的变化是存在问题的:这导致了对患者的不公平对待。通过仅选择与种族、性别或性取向无关的生物医学主题的问题,我们提出以下研究问题:(RQ1)当提供无关的人口统计信息时,QA 模型的答案是否会改变?(RQ2)RQ1 的答案在基于知识图谱(KG)和基于文本的 QA 系统之间是否存在差异?我们发现,无关的人口统计信息最多会改变 KG 为基础的系统 15% 的答案和文本为基础的系统 23% 的答案,包括影响准确性的变化。我们得出结论,由于患者人口统计信息而引起的无理答案变化是一个常见现象,这引起了公平性问题,并应该受到更多关注。

本文研究了生物医学领域中问答模型存在的公平性问题,即由于患者人口统计信息而导致模型输出不合理的变化。研究发现,无关的人口统计信息最多会改变基于知识图谱的系统15%的答案和基于文本的系统23%的答案,包括影响准确性的变化。作者认为这种无理答案变化是一个常见现象,引起了公平性问题,需要更多关注。

人口统计信息 公平性问题 准确性 知识图谱 问答模型

相关推荐 去reddit讨论