COVID-19 自诊断分类：BERT 和 LightGBM 模型
内容提要
该文汇总了团队在多个社交媒体健康信息处理共享任务中的研究成果，主要采用BERT、RoBERTa、CT-BERT等预训练语言模型及集成方法，完成COVID-19推文信息识别、虚假新闻检测、情感分析、亲密伴侣暴力分类和疫苗担忧多标签分类等任务。各系统表现优异，如SMM4H 2023验证集F1达89.31%，AAAI 2021虚假新闻检测加权F1达0.9859，多个任务排名前列。
延伸解读
领域自适应模型为何更有效
文中多个任务采用CT-BERT等针对COVID-19推文继续预训练的模型，而非通用BERT。在虚假新闻检测中，CT-BERT集成在约166个团队中取得测试集最高加权F1 98.69；在WNUT-2020信息识别中，基于CT-BERT的微调模型排名第三。这说明社交媒体文本的领域词汇和表达习惯，使领域自适应预训练具有实际收益。
集成与混合策略的取舍
文章展示了多种提升路径：SMM4H 2022亲密伴侣暴力分类用五个RoBERTa模型按验证集F1加权集成，比基线提高13%；SMM4H 2023则将医学自适应转换器与双向LSTM结合成混合模型。相比之下，Constraint 2021虚假新闻检测仅用线性SVM加语言学特征，测试加权F1为95.19%，排名第80。可见方法复杂度与排名并非简单对应，任务和数据特性影响更大。
验证集与测试集的落差需留意
SMM4H 2023任务中，最佳模型验证集F1为89.31%，测试集降至83.76%，差距约5.5个百分点。这提示读者在解读共享任务成绩时，应区分验证集与测试集表现，避免仅凭验证集高分判断模型泛化能力。文章也提到对未正确分类样本进行分析，说明错误分析是理解模型边界的重要环节。
Q&A
在SMM4H 2023共享任务4中，你们的最佳模型在验证集和测试集上的F1分数分别是多少？
最佳模型在验证集上获得了89.31%的F1得分，在测试集上获得了83.76%的F1得分。
你们在CERIST'22共享任务中情感分析和虚假新闻检测的准确度各是多少？
情感分析任务的准确度为0.93，虚假新闻检测任务的准确度为0.90。
在AAAI 2021 COVID-19虚假新闻检测任务中，你们采用了什么方法并取得了什么成绩？
采用了BERT、RoBERTa、Ernie等预训练语言模型，结合预热、学习率调度和K折交叉验证等训练策略，提出了一种集合方法，在测试集上获得了0.9859的加权F1分数。
在WNUT-2020任务2中，BERT+模型相比其他模型表现如何？
BERT+模型在F1-score评估指标上得分最高，为0.8713，优于其他机器学习模型。
你们在SMM4H 2022亲密伴侣暴力分类任务中使用了什么系统？效果如何？
系统由五个RoBERTa模型的集成组成，通过验证集F1分数加权。效果比基线提高了13%，成为该共享任务中表现最好的系统。
在疫苗担忧多标签分类任务中，哪种模型效果最佳？
Supervised BERT-large-uncased模型效果最佳。
