绿色：生成性放射学报告评估和错误标注
内容提要
本文提出了一种新的自动评估指标MRScore，专门用于放射学报告生成，利用大型语言模型提高评估准确性。研究表明，MRScore与人类判断高度相关，并在报告质量上表现优越。通过结合放射科医生的专业知识，旨在提升医学报告的质量评估水平，并公开相关代码和数据集。
延伸解读
MRScore 的评估优势
MRScore 利用大型语言模型，在放射学报告生成评估中表现出与人类判断更高的相关性。相比传统指标如 BLEU，MRScore 能更准确地评估报告质量，并在模型选择方面具有优越性能。这有助于提升自动评估的临床相关性。
与现有指标的相关性
研究表明，MRScore 与 BERTscore、BLEU 和 CheXbert 分数等已有指标呈现中高度相关性。这表明 MRScore 在保持与现有评估方法一致性的同时，可能提供更贴近人类判断的评估结果，为放射学报告评估提供新视角。
临床验证与数据支持
MRScore 的验证使用了包含 200 份报告的数据集，并与六位认证放射科医生的注释集进行了对比。此外，还与两名放射科医生在 100 份报告上进行了独立分析。这些临床验证增强了 MRScore 作为放射学特定评估指标的可信度。
开源与可访问性
作者公开了代码、数据和模型检查点，以促进进一步研究和应用。这有助于社区复现结果、开发更临床相关的模型，并推动放射学报告生成评估的标准化和可访问性。
Q&A
MRScore是什么，它的主要功能是什么？
MRScore是一种新的自动评估指标，专门用于放射学报告生成，旨在提高评估的准确性。
MRScore与传统评估指标相比有什么优势？
MRScore相较于传统的自然语言生成指标如BLEU，更准确地评估生成的放射学报告。
研究如何证明MRScore的有效性？
研究表明，MRScore与人类判断高度相关，并在报告质量上表现优越。
放射科医生在MRScore的开发中扮演了什么角色？
放射科医生的专业知识被结合进MRScore的开发中，以确保评估与人类分析保持一致。
研究团队将如何分享MRScore的相关资源？
研究团队将公开提供相关代码和数据集，以促进进一步研究和应用。
MRScore的开发对医学报告质量评估有什么影响？
MRScore的开发旨在提升医学报告的质量评估水平，可能会改善临床报告的一致性和准确性。
