朝有效时间感知的语言表示:探索语言模型中增强的时间理解
原文中文,约300字,阅读约需1分钟。发表于: 。本研究探讨了在自然语言处理领域中理解文本的时间背景的方法,并介绍了一种新型语言模型 BiTimeBERT 2.0,该模型通过预训练在一个时间新闻文章集合上,利用三种创新的预训练目标以有效地获得时间感知的语言表示,从而在与时间相关的任务中实现改进的性能。实验结果显示,BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。
本研究介绍了BiTimeBERT 2.0,一种新型语言模型,通过预训练在时间新闻文章上获得时间感知的语言表示,提高了与时间相关任务的性能。实验结果显示,BiTimeBERT 2.0在多种依赖时间的自然语言处理任务中优于BERT和其他预训练模型。