本研究探讨了预训练语言模型(PLMs)输入分割对复杂单词语义表示的影响,发现DelBERT在语义探测任务中优于WordPiece分割的BERT,可能提高PLMs的泛化性能。此外,研究还涉及双语词典学习、跨语言调整及多语言模型的句法学习能力,结果显示多语言模型在某些任务上表现不如单语模型。
本文介绍了作者在SemEval共享任务9中预测亲密度水平的研究工作,使用多语言模型和语言特定的单语模型,并评估了数据增强方法。研究结果有价值。
完成下面两步后,将自动完成登录并继续当前操作。