SYNFAC-EDIT：临床摘要的事实对齐的合成模仿编辑反馈
内容提要
该文综述大型语言模型在医疗文本处理中的应用：利用GPT生成合成数据提升临床笔记摘要的事实一致性；提出FACT-GPT自动匹配社交媒体声明以辅助事实核查；探索ChatGPT用于生物命名实体识别与关系抽取，缓解数据隐私问题；评估LLM摘要的事实性，发现幻觉严重，但LLM可作事实验证器，与人类判断高度相关。
延伸解读
合成数据在医疗摘要中的价值与边界
文章提到，利用GPT-3生成合成训练数据，可达到相当于6400个人工标注示例的效果，并在医学准确性和连贯性上优于纯人工数据训练的模型。这提示合成数据能缓解医疗领域标注成本高、隐私敏感的问题。但需注意，该方法依赖GPT-3作为骨干，且评估聚焦于摘要任务，其泛化到其他临床文本任务的效果尚不明确。
LLM事实性评估：幻觉严重但可作验证器
人工评估显示，即使是GPT-3.5，事实性输出也不到25%，幻觉问题突出。然而，研究同时发现LLM可被重新用作事实验证器，与人类判断强相关。有趣的是，生成事实性最差的FLAN-T5-11B在验证任务上表现最佳，甚至超过GPT-3.5和ChatGPT。这表明生成能力与验证能力可能并不一致，选用模型时需区分任务目标。
事实核查自动化：FACT-GPT的定位与局限
FACT-GPT利用LLM自动化事实核查中的索引匹配阶段，能识别社交媒体内容与已揭穿声明是相符、相悖还是无关。评估表明，专门训练的LLM在声明匹配上准确性与更大型模型相当，且与人类判断接近。但文章也指出，现有工具在识别错误声明方面仍存在困难，最佳F1仅0.53，说明自动化核查尚未完全可靠，更适合作为辅助工具。
医疗文本挖掘的隐私与性能权衡
针对生物命名实体识别和关系抽取，研究提出用ChatGPT生成大量合成数据来微调本地模型。这种方法在提升下游任务性能的同时，缓解了数据隐私问题。此外，在患者试验匹配任务中，开源模型经有限和合成数据微调后，性能可与专有模型相当，为实际医疗部署提供了机会。但文章未说明合成数据与真实数据分布差异可能带来的风险。
Q&A
SYNFAC-EDIT 是什么？它主要解决什么问题？
SYNFAC-EDIT 是一种利用 ChatGPT 生成高质量反馈数据的方法，旨在改善临床笔记概括任务中的事实一致性，并展示了 GPT 编辑在人类对齐中的潜在用途，特别是从事实角度。
FACT-GPT 系统如何辅助事实核查？
FACT-GPT 利用大型语言模型自动化事实核查中的索引匹配阶段，经训练后可以识别与先前被揭穿的声明相符、相悖或无关的社交媒体内容。评估表明，其识别相关声明的准确性与更大型模型相当，与人类判断非常接近。
使用 GPT-3 生成合成训练数据对医学摘要有什么好处？
通过利用 GPT-3 作为算法骨干并采用低样本学习和集成方法，可以创建合成训练数据，明确关注捕捉医学相关信息。结果相当于采用 6400 个人工标记的示例，在医学准确性和连贯性方面，生成的摘要明显优于单纯使用人工标记数据训练的模型。
大型语言模型在临床文本挖掘中如何应用并缓解数据隐私问题？
研究提出了一种基于生成大量合成数据进行本地模型微调的训练范式，将 ChatGPT 应用于临床文本挖掘中的生物命名实体识别和关系抽取。结果表明，这种方法显著提高了下游任务性能，同时缓解了数据隐私问题。
大型语言模型在事实性方面存在什么问题？它们能用作事实验证器吗？
大型语言模型常出现“幻觉”，导致非事实性输出。人工评估显示即使是 GPT-3.5 的事实性输出也不到 25%。但系统调查确认，大型语言模型可以被重新用作有效的事实验证器，与人类判断具有强相关性，至少在维基百科领域。
在评估摘要事实一致性时，直接提示大型语言模型的方法效果如何？
研究探索采用大型语言模型评估摘要的事实一致性，通过对 GPT 模型系列和 Flan-T5 等不同类型的 DLM 进行分析，以及对多种提示方法进行研究，最终证明直接针对 DLM 的提示方法在各项测试中均优于当前最先进的摘要事实性系统。
