生物医学和临床预训练模型对法语长文档的适应性：一项比较研究
内容提要
本文综述医学长序列Transformer语言模型研究：提出处理临床文本长期依赖的预训练模型，在十项基准测试中达最优；比较法语DrBERT、CamemBERT-Bio及意大利语生物医学模型；发布法语基准DrBenchmark；Longformer提升电子病历F1值10%；LongBoX数据集显示长序列处理仍困难，需改进。
延伸解读
长序列模型在临床文本中的价值与局限
文章指出，长序列Transformer模型能有效处理临床文本的长期依赖，在十项基准测试中达到最优，且Longformer在电子病历任务上提升F1值10%。但LongBoX数据集显示，现有模型对长序列处理仍存在困难，即使采用局部-全局注意力或Fusion-in-Decoder技术，改进空间依然较大。这说明长序列能力是提升临床NLP性能的关键，但当前技术尚未完全成熟。
法语生物医学模型的进展与基准
针对法语领域，研究提出了DrBERT和CamemBERT-Bio等预训练模型，其中CamemBERT-Bio在实体识别任务上F1分数提升2.54。同时，首个公开的法语生物医学语言理解基准DrBenchmark发布，用于评估8种预训练掩码语言模型的通用和生物医学性能，以及跨语言能力。这些工作为法语医学NLP提供了专用资源和评估标准，但模型在缩写、数字、时间等细节上仍需改进。
低资源语言与数据策略的启示
以意大利语为例的研究表明，在语料库较小时，合并高质量数据能提升生物医学语言模型性能，但数据量限制更为严格。这为其他资源不足的语言和领域构建模型提供了参考：既要注重数据质量，也需考虑数据规模。此外，跨语言迁移和本地化语料库的结合，可能成为低资源场景下的可行路径。
Q&A
长序列Transformer模型在临床文本处理中有什么优势？
长序列Transformer模型能有效处理临床文本中的长期依赖关系，在十项基准测试任务中均取得了最先进的成果，相比传统短序列模型表现更优。
DrBERT和CamemBERT-Bio在法语生物医学领域有什么不同？
DrBERT是法语领域预训练模型，并发布了该领域专用PLMs；CamemBERT-Bio是针对法语生物医学领域的语言模型，在实体识别任务上F1分数提升了2.54。
DrBenchmark是什么？
DrBenchmark是首次公开提供的法语生物医学语言理解基准，用于评估8种最新的预训练掩码语言模型在通用和生物医学特定数据上的性能，以及英语特定MLMs的跨语言能力。
Longformer在电子病历处理中提升了多少性能？
Longformer通过长文本适应性训练，在电子病历处理中实现了10%的F1值提升。
LongBoX数据集揭示了长序列处理存在什么问题？
LongBoX数据集初步实验证明医学和一般领域大型语言模型对长序列的处理存在困难，虽然局部-全局注意力和Fusion-in-Decoder等技术在某些数据集上提高了分数，但仍有较大改进空间。
如何构建资源较少语言的生物医学语言模型？
可以通过合并高质量数据（如翻译生成的语言格式数据和本地化语料库数据）来提高模型性能，但数据量限制更为严格；该研究以意大利为例，为其他资源较少的语言和领域提供了构建生物医学语言模型的见解。
