生物医学和临床预训练模型对法语长文档的适应性：一项比较研究

原文约300字，阅读约需1分钟。发表于：。

比较了三种适用于长序列模型的适应策略，研究结果表明，用法文生物医学文本进一步预训练英文临床模型，优于将法文生物医学 BERT 转换为 Longformer 架构或从头预训练法文生物医学 Longformer，而对于命名实体识别任务，BERT 模型仍然是最高效的。

本研究利用英语语料库和本地化语料库数据建立生物医学语言模型，发现合并高质量数据可以提高模型性能。研究成果有望为意大利医院和学术界提供发展机遇，并为构建通用的生物医学语言模型提供有价值的见解。