利用预训练语言模型进行短文本主题建模
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本论文提出了一种利用预训练语言模型扩展短文本序列的方法,通过扩展神经主题模型减少噪声文本的影响,显著改善短文本主题建模的性能。
🎯
关键要点
-
本论文提出了一种利用预训练语言模型扩展短文本序列的方法。
-
该方法旨在解决短文本主题建模中的数据稀疏问题。
-
通过扩展神经主题模型,减少预训练语言模型生成的噪声文本影响。
-
模型显著改善短文本主题建模的性能。
-
在极度数据稀疏的情况下,模型在多个真实数据集上表现优异,胜过现有最先进的模型。
🏷️