为（反事实）公平性对齐（医学）大语言模型
内容提要
大型语言模型（LLMs）在医疗领域的应用引发关注，文章探讨了其发展历程、能力及安全性。研究指出，LLMs的兴起源于传统预训练模型（PLMs）的转变，并评估了其中的偏见问题，强调公平性和隐私保护的重要性。文中还提出了针对医学任务的微调方法，展示了LLMs在临床决策支持中的潜力与挑战。
延伸解读
从PLMs到LLMs：医疗AI的范式转变
文章指出，医疗大语言模型的发展正经历从传统预训练模型（PLMs）到大型语言模型（LLMs）的转变，这不仅是模型规模的扩大，更涉及方法论的根本变化：从辨别式人工智能转向生成式人工智能，从以模型为中心转向以数据为中心。这一转变意味着医疗AI的能力和应用方式将发生深刻改变，读者需关注由此带来的新机遇与挑战。
公平性评估：医疗LLMs的社会偏见风险
文章强调，对八种流行的大型语言模型在三个临床病例描述数据集上的评估发现，这些模型在受保护群体之间存在不同程度的社会偏差。值得注意的是，模型大小并不必然决定偏见程度，通用模型也不一定比医学专用模型更具偏见，而提示方式的设计决策也会影响社会偏差。这提示在临床决策支持应用中，需对LLMs进行进一步评估、审查和改进。
微调与对齐：缓解风险的有效策略
文章展示了微调作为缓解医学LLMs潜在风险的有效策略，并提出了基于知识聚合器和噪声聚合器的两阶段微调方法，设计了MedCare模型，在20多个医学任务上取得先进成果。此外，RuleAlign框架通过医疗对话数据集和偏好学习，实现了模型与特定诊断规则的对齐。这些方法表明，通过针对性微调和对齐，可以提升LLMs在医疗领域的有效性和安全性。
Q&A
大型语言模型在医疗领域的应用有哪些潜力和挑战？
大型语言模型在医疗领域的潜力包括临床决策支持和报告生成，但面临的挑战有公平性、隐私保护和鲁棒性等问题。
如何评估大型语言模型中的偏见问题？
通过人工评估框架和数据集设计方法，对模型进行严格评估，分析其在受保护群体之间的社会偏差。
什么是RuleAlign框架，它的作用是什么？
RuleAlign框架旨在解决大型语言模型在专业诊断中的挑战，通过对齐特定诊断规则来提升模型的有效性。
微调方法在医学LLMs中的应用效果如何？
微调方法被证明是有效的缓解策略，能够减少医学LLMs在应用中的潜在风险，并在多个医学任务上取得先进成果。
大型语言模型的公平性问题如何影响边缘群体？
大型语言模型在处理边缘群体时可能导致歧视性结果，强调了公平性的重要性和必要性。
大型语言模型的发展历程是怎样的？
大型语言模型的发展经历了从传统预训练模型到生成式人工智能的转变，标志着方法论的重大变化。
